Python爬虫：爬取某哪儿游记攻略为十月假期做准备。。。

最新推荐文章于 2024-05-28 21:49:55 发布

yying333

最新推荐文章于 2024-05-28 21:49:55 发布

阅读量584

点赞数

文章标签： python

本文链接：https://blog.youkuaiyun.com/yying333/article/details/120225181

版权

国庆假期临近，为了提前规划旅行，本文通过Python爬虫技术，详细讲解如何爬取某哪儿网的游记攻略。首先获取全国城市列表，然后针对上海城市，深入抓取并解析游记数据，包括翻页处理。借助tkinter、re、lxml等库，实现数据的高效抓取和存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

再过几周就是国庆假期，想想还是很激动的，我决定给大家做个游记爬虫，大家早做准备。。嘿嘿

代码操作展示：

今天目标地址：https://travel.qunar.com/place/

开发环境：

windows10

python3.6

开发工具：

pycharm

库：

tkinter、re、os、lxml、threading、xlwt、xlrd

1.首先先将全国所有的城市名称和id拿到

2.右击检查，进行抓包，找到数据所在的包

3.发送请求，获取响应，解析响应


# 发送请求，获取响应，解析响应
        response = session.get(self.start_url, headers=self.headers).html
        # 提取所有目的地(城市)的url
        city_url_list = response.xpath(
            '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href')
        city_id_list = [''.join(re.findall(r'-cs(.*?)-', i)) for i in city_url_list]
        # 提取所有的城市名称
        city_name_list = response.xpath(
            '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()'

4.随机点一个城市，进入该城市，查看游记攻略，本文选的是上海

5.进行抓包，查找需要的信息


# 提取游记作者
                author_list = html.xpath('//span[@class="user_name"]/a/text()')
                # 出发时间
                date_list = html.xpath('//span[@class="date"]/text()')
                # 游玩时间
                days_list = html.xpath('//span[@class="days"]/text()')
                # 阅读量
                read_list = html.xpath('//span[@class="icon_view"]/span/text()')
                # 点赞量
                like_count_list = html.xpath('//span[@class="icon_love"]/span/text()')
                # 评论量
                icon_list = html.xpath('//span[@class="icon_comment"]/span/text()')
                # 游记地址
                text_url_list = html.xpath('//h3[@class="tit"]/a/@href')

6.进行翻页抓包，第二页为异步加载