爬虫day5 易中天品三国音频爬取

最新推荐文章于 2022-01-08 13:28:31 发布

琅琊008

最新推荐文章于 2022-01-08 13:28:31 发布

阅读量759

点赞数

本文链接：https://blog.youkuaiyun.com/lhl1110/article/details/81916646

版权

本篇博客记录了使用爬虫技术抓取易中天品三国系列音频的过程，详细介绍了爬取策略、数据解析及存储方法，带你了解网络音频资源的爬取技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 易中天品三国音频爬取


import requests
from lxml import etree
from urllib import parse,request
base_url = 'https://www.ximalaya.com/lishi/13396678/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}

response = requests.get(base_url,headers=headers)
html_ele = etree.HTML(response.text)
re_p1 = '//*[@id="root"]/main/section/div/div[2]/div[1]/div[2]/div[2]/div/nav/ul/li[1]/a/@href'

re_p = '//*[@id="root"]/main/section/div/div[2]/div[1]/div[2]/div[2]/div/nav/ul/li[@class="Yetd page-item"]/a/@href'
href_list = []
href_list1 = html_ele.xpath(re_p1)
href_list2 = html_ele.xpath(re_p)

href_list += href_list1

href_list += href_list2

for href in href_list:
    base_url = request.urljoin(base_url,href)