Python 爬虫实战：某蜂窝网游记爬虫

已于 2024-01-11 15:10:58 修改
阅读量2.6k 收藏 32
点赞数 19
文章标签： python 爬虫 okhttp Python编程 Python爬虫 Python学习
于 2023-12-01 10:04:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cxyxx12/article/details/134727799
版权

大家好，我是程序员晓晓。

今天给大家分享 某蜂窝网游记 的爬虫及爬取思路。

示例网址：aHR0cHMlM0EvL3d3dy5tYWZlbmd3by5jbi90cmF2ZWwtc2NlbmljLXNwb3QvbWFmZW5nd28vMTMwMzMuaHRtbA==

我们以 山西 为例。打开网址，页面向下翻，便可以看到 山西游记 区域。

Part1观察网页

写过爬虫的大家都知道，写爬虫第一步，需要观察目标网站。

具体观察哪些东西呢？主要有两个方面，目标数据 和 页面结构。

1.1观察目标数据

这一步主要是为了确定，我们可以获取到哪些 数据项，以及大概的 数据量 。

如图可以看到，从游记列表中，我们可以得到游记的 标题、题图、摘要、作者、浏览量、评论量 等数据。此外，通过分析源代码，我们还可以得到游记的 id 和 链接。

观察游记列表的翻页区，我们可以得知游记的 总页数 和 总条数 ，如山西游记有 3355 页，33544 条。

经过实际测试，无论是通过爬虫抓取，还是手动翻页，游记数据最多只能访问 100 页，1000条数据。

1.2观察页面结构

观察页面结构，主要是为了确定两件事情：

  1. 翻页方式（瀑布流还是按钮翻页）

  2. 数据加载方式（动态还是静态）

因为不同的翻页方式和数据加载方式，会影响后续我们抓取数据、解析数据的方式。

简单观察网页以后不难发现，

  1. 列表底部有 翻页按钮 ，点击后可以跳转至对应页码。

  2. 翻页时，仅游记列表区域数据发生了更新（网页整体没有刷新），很明显是使用了 Ajax 动态加载 数据。

Part2抓包测试

2.1抓包

知道网站是动态加载数据以后，我们直接开始抓包。

按F12键打开浏览器的 开发者工具，切换到 Network ，过滤器选择 Fetch/XHR。

点击 翻页 按钮，抓到一条请求包，点击这条 ajax.php?act=get_travellist 请求包以后，可以看到它的详细情况。

在 Headers 中可以看到它的请求地址 Request URL 和请求方法 Request Method 。

在 Payload 中可以看到它的请求参数。

在 Preview 和 Response 中可以看到它的响应内容。

为了确认抓到的包对不对，我们需要检查请求的响应内容，看其中是否包含了我们需要的数据。

抓到正确的请求包以后，我们接下来要做的就是，用代码模拟发起请求。

2.2反爬测试

我们简单写一段测试代码，尝试获取数据，顺便检查一下网站的反爬机制。

# 请求地址
url = "https://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist"
# 请求头
headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding": "gzip, deflate, br, zstd",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cache-Control": "no-cache",
    "Content-Length": "105",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Cookie": "your own cookie",
    "Origin": "https://www.mafengwo.cn",
    "Pragma": "no-cache",
    "Referer": "https://www.mafengwo.cn/travel-scenic-spot/mafengwo/13033.html",
    "Sec-Ch-Ua": "\"Google Chrome\";v=\"119\", \"Chromium\";v=\"119\", \"Not?A_Brand\";v=\"24\"",
    "Sec-Ch-Ua-Mobile": "?0",
    "Sec-Ch-Ua-Platform": "\"Windows\"",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-origin",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
    "X-Requested-With": "XMLHttpRequest"
}
# 请求参数
payload = {
    "mddid": "13033",
    "pageid": "mdd_index",
    "sort": "1",
    "cost": "0",
    "days": "0",
    "month": "0",
    "tagid": "0",
    "page": "2",
    "_ts": "1701158589677",
    "_sn": "d65ae26004"
}

从开发者工具中，我们找到 请求地址、请求头、请求参数 等，格式化后粘贴到代码中。

# 导入包
import requests
# 发起 post 请求
r = requests.post(url, headers=headers, data=payload)
# 打印数据
print(r.json())

运行代码，发起网络请求，发现可以成功获取数据。

2.3简化参数

此时 headers 和 payload 里的参数还是比较多的，但是这些参数并不是每项都必要。所以我们可以进行简化，将不必要的参数删掉。

简化的方法比较简单粗暴，就是逐个删除参数，并运行代码。

如果删除某个参数后，运行结果没有变化，说明该参数不是必要的，可以删掉；如果删掉某个参数后，运行结果为空或者报错了，说明该参数是必须的，不能删除。

最终简化后的代码如下：

# 请求地址
url = "https://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist"
# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
}
# 请求参数
payload = {
    "mddid": "13033",
    "pageid": "mdd_index",
    "sort": "1",
    "page": "2",
}

# 导入包
import requests
# 发起 post 请求
r = requests.post(url, headers=headers, data=payload)
# 打印数据
print(r.json())

Part3编写代码

搞定了抓包和反爬测试以后，我们就可以开始编写代码了。

3.1网络请求

将前面的网络请求的测试代码封装一下。

# 导入包
import requests

def fetchUrl(cityId, page):
    """
    cityId: 城市 id
    page:   页码
    """
    
    # 请求地址
    url = "https://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist"
    # 请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
    }
    # 请求参数
    payload = {
        "mddid": cityId,
        "pageid": "mdd_index",
        "sort": "1",
        "page": page,
    }

    # 发起 post 请求
    r = requests.post(url, headers=headers, data=payload)
    # 返回数据
    return r.json()

# 调用函数
fetchUrl(13033, 2)

3.2解析数据

数据获取到后，接下来就是解析数据了。

该请求返回的数据，格式如下：

{
    list: "游记列表的 html 内容",
    msg: "succ",
    page: "翻页按钮的 html 内容"
}

我们需要的数据以 html 的格式存放在 list 下。

可以通过以下方式将其解析出来。

jsonObj = fetchUrl(13033, 2)
# 解析游记列表的 html 内容
html = jsonObj["list"]

现在我们得到了游记列表的 html 文本内容，格式如下：

<div class="tn-list">
    <div class="tn-item clearfix">
  <div class="tn-image">题图</div>
  <div class="tn-wrapper">
   <dl>
    <dt>
     <a href="/i/24193768.html" class="title-link">标题</a>
    </dt>
    <dd>
     <a href="/i/24193768.html">摘要</a>
    </dd>
   </dl>
   <div class="tn-extra">
    <span class="tn-user">
     <a href="/u/92844923.html">作者</a>
    </span>
    <span class="tn-nums">浏览量/评论数</span>
   </div>
  </div>
    </div>
    <div class="tn-item clearfix"></div>
    <div class="tn-item clearfix"></div>
    ......
</div>

接下来我们可以使用 BeautifulSoup 库来进行解析。

# 导入库
from bs4 import BeautifulSoup
# 实例化 bs 对象
bsObj = BeautifulSoup(html, "html.parser")
# 获取所有的游记 item
tn_items = bsObj.find_all("div", attrs={"class": "tn-item"})

# 循环解析每一个 item
for item in tn_items:
 # 题图
    headImage = item.find("div", attrs={"class": "tn-image"}).a.img["data-original"]
    # 标题
    titleNode = item.dt.find_all("a")[-1]
    title = titleNode.text
    # 链接
    link = "https://www.mafengwo.cn" + titleNode["href"]
    # 摘要
    desc = item.dd.text
    # 作者
    author = item.find("span", attrs={"class": "tn-user"}).text
    
    nums = item.find("span", attrs={"class": "tn-nums"}).text.strip().split("/")
    # 浏览量
    views = nums[0]
    # 评论数
    comments = nums[1]
    
    # 测试打印
    print("题图:", headImage)
    print("标题:", title)
    print("链接:", link)
    print("作者:", author)
    print("浏览量:", views)
    print("评论数:", comments)
    print("摘要:", desc)
    print("---"*10)

运行结果

最后将代码简单封装一下即可。

def parseHtml(html):
    # 实例化 bs 对象
    bsObj = BeautifulSoup(html, "html.parser")
    # 获取所有的游记 item
    tn_items = bsObj.find_all("div", attrs={"class": "tn-item"})
    
    itemList = []

    # 循环解析每一个 item
    for item in tn_items:
     # 题图
        headImage = item.find("div", attrs={"class": "tn-image"}).a.img["data-original"]
        # 标题
        titleNode = item.dt.find_all("a")[-1]
        title = titleNode.text
        # 链接
        link = "https://www.mafengwo.cn" + titleNode["href"]
        # 摘要
        desc = item.dd.text
        # 作者
        author = item.find("span", attrs={"class": "tn-user"}).text
  # 浏览量
        nums = item.find("span", attrs={"class": "tn-nums"}).text.strip().split("/")
        views = nums[0]
        # 评论数
        comments = nums[1]
        
        itemList.append([title, link, author, views, comments, headImage, desc])

#         # 测试打印
#         print("题图:", headImage)
#         print("标题:", title)
#         print("链接:", link)
#         print("作者:", author)
#         print("浏览量:", views)
#         print("评论数:", comments)
#         print("摘要:", desc)
#         print("---"*10)

    return itemList

3.3存储数据

我们准备用 csv 格式文件来存储数据。

这里使用了第三方库 pandas。

# 导入包
import pandas as pd

def saveData(filename, data):
    """
    filename: 文件名
    data: 要存储的数据
    """
    dataframe = pd.DataFrame(data)
    dataframe.to_csv(filename, encoding='utf_8_sig', mode='a', index=False, sep=',', header=False)

3.4主函数

最后，在主函数中写一个 for 循环，启动爬虫即可。

if __name__ == "__main__":
    cityId = 13033
    filename = "山西.csv"
    totalPage = 100
    
    # 保存标题行
    header = [["标题","链接","作者","浏览量","评论数","题图","摘要"]]
    saveData(filename, header)
    
    # 循环爬取数据
    for page in range(1, totalPage + 1):
        # 请求数据
        jsonObj = fetchUrl(cityId, page)
        # 解析数据
        data = parseHtml(jsonObj["list"])
        # 保存数据
        saveData(filename, data)

至此，我们的爬虫主体已经全部完成了。

3.5查改 BUG

实际运行中会发现，虽然我们的爬虫已经完成，可以成功抓取到数据，但是非常容易报错崩溃。

因为前面为了追求效率而写的很多并不严谨的代码，导致程序非常的脆弱。

比如这一句代码，用于解析游记的题图链接。

headImage = item.find("div", attrs={"class": "tn-image"}).a.img["data-original"]

实际执行时，抓取到某些游记时，会发生报错。

究其原因，是因为在游记列表中，游记的题图标签有两种写法。

<!-- 写法 1 -->
<img class="lazy" data-original="https://xxxx.jpg" height="150" width="220"/>
<!-- 写法 2 -->
<img src="https://xxxx.jpg" height="150" width="220"/>

代码中如果直接获取标签的 data-original 属性，则遇上 写法 2 的标签便会报错。

因此我们在获取标签属性前，需要先判断属性是否存在。

# 获取题图，代码优化示例
imageNode = item.find("div", attrs={"class": "tn-image"}).a.img
if imageNode.has_attr("src"):
    headImage = imageNode["src"]
elif imageNode.has_attr("data-original"):
    headImage = imageNode["data-original"]
else:
    headImage = ""

以上作为查改BUG 和优化代码的示例，给大家参考。

在爬取大量数据的时候，还会遇到更多兼容性方面的 bug，需要大家逐一优化。

3.6运行效果

将代码完善后，运行结果如下：

保存好的 csv 文件用 excel 打开，简单整理格式后效果如下：

Part4其它问题

爬取游记需要填写城市的 ID，这一步对于有爬虫基础的同学应该问题不大。

不知道如何获取城市 id 的同学，我这里也提供了一段脚本，可以根据城市名字自动获取城市 ID。

import requests
import re

def getCityCode(city):
    
    url = 'https://www.mafengwo.cn/search/q.php?q=%s' % city

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
    }

    r = requests.get(url, headers=headers)
    # 正则提取城市编码
    code = re.findall("type=10&id=([0-9]+)", r.text)
 # 正则提取城市名称
    title = re.findall('''<div class="info">
                <p class="title">(.*)</p>''', r.text)
    
    if len(code) > 0 and len(title) > 0:
        return (title[0], code[0])
    else:
        return (city, "找不到该城市！")

# 测试代码
a = getCityCode("山西")
print(a)

运行结果：

('山西', '13033')

经测试，在输入的城市名有错别字，甚至是拼音的情况下，代码也可以顺利获取城市 ID。

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述
若有侵权，请联系删除
Python 爬虫实战：在马蜂窝抓取旅游攻略，打造个性化出行指南
u014481728的博客
01-27 1367
通过本文的实战项目，我们成功使用 Python 编写爬虫程序，从马蜂窝上抓取了旅游攻略的列表信息和详情信息，并将其存储到文件和数据库中。这一过程不仅让我们熟悉了 Python 的requests和pandas等库的使用，还锻炼了我们分析网页结构和处理数据的能力。在实际应用中，可以进一步完善爬虫程序，例如增加对更多信息的提取、优化数据存储方式、对数据进行更深入的分析和可视化展示等。通过这些改进，我们可以更好地利用抓取到的数据，为自己打造更加个性化、全面的出行指南。
Python 爬虫实战：从马蜂窝抓取旅游攻略收藏量，发现小众旅游地
最新发布
u014481728的博客
02-03 977
在实际应用中，可以根据需求进一步扩展爬虫功能，例如抓取更多维度的数据、进行更深入的数据挖掘和分析等。
使用python爬取马蜂窝游记
张景源的博客
03-20 8629
马蜂窝是 爬取2018年“南京”地区游记。 观察列表，发现以时间顺序url以类似“http://www.mafengwo.cn/yj/10684/2-0-74.html"的格式。其中74代表第74页。 首先爬取列表中目标url信息。 # coding=utf-8 # author=zhangjingyuan # python3 import urllib.request import urlli...
马蜂窝游记爬虫
04-12
马蜂窝游记爬虫（使用模拟浏览器方法）结构清晰函数式编程
05_Python爬虫---xpath案例--爬取马蜂窝游记
2401_83322621的博客
09-16 804
目的:我们需要获取有关三亚旅行问答的有关数据.提取出每一个问题的评论并将数据保存在csv文件中。分析网页数据:我们滑动鼠标，拖拉至下方，点击 '加载更多' 的时候，发现数据会自动更新并且网页url没有发生变化，由此我们可以判断数据是通过另外一种方式加载页面数据的,我们按住fn+f12打开开发者工具，找到对应的url网址,通过抓包可以获取到我们想要的数据。由下图可知，我们想要的数据在一个html文档中,所以我们通过抓包获取到json数据，然后利用字典来提取这个html文件。
Python爬取马蜂窝城市游记
qq_22301571的博客
05-11 1411
游记标题、用户、日期、阅读数量、评论数量 上一篇: Python爬取马蜂窝各城市游记总数.爬取了马蜂窝所有城市的游记总数，本文爬取具体城市的游记详情 import os import time import random import pymysql import requests from lxml import etree import pandas as pd from sqlalchemy import create_engine def page(url): # ua伪装 h
穷游网 游记 爬虫
DW_CK的博客
07-01 749
最近需要一些东南亚国家的照片，于是写了一个穷游网游记的爬虫，穷游网用了ajax请求，简单的request很难实现拿到图片的url，于是用了selenium进行爬取。 from selenium import webdriver import time,re,requests,os from bs4 import BeautifulSoup def get_img_in_page(page_url='https://bbs.qyer.com/thread-3502079-1.html',wait_time
python线程池爬取马蜂窝网站游记信息
01-05
python开启十个线程的线程池爬取马蜂窝网站的数据。其中包括线程安全的设计，网页超链接去重的处理
Python爬虫案例教程：抓取马蜂窝游记数据
资源摘要信息:《马蜂窝游记爬虫代码案例》这份资源介绍了如何使用Python编程语言及其相关库实现对马蜂窝网站中游记数据的自动化抓取。在这个过程中，涉及到的两个关键库是requests和Beautiful Soup。requests库用于...
python爬取携程网游记_Python爬虫案例：爬取携程评论
weixin_39650784的博客
12-10 2154
前言之前爬取美团，马蜂窝等网站的数据都挺顺利，大众点评(这个反爬机制有点麻烦)在磕磕绊绊中也算成功(重点是网页页数的变化和关键字的隐藏替换)但携程居然遇到了瓶颈。主要是查看源代码时发现关键商户信息根本就找不到，就很奇怪。对于关键信息评论发现翻页时网页的url不变，网上查了一下说是使用是动态的网址进行建构的，Ajax页面加载，那么通用的request.get()就不能用了，所以采取模拟浏览器进行数据...
爬取马蜂窝旅游数据，包括酒店、美食、景点的评论数据以及游记数据（2021.6.28可用）
06-28
马蜂窝旅游数据，包括酒店、美食、景点的评论数据以及游记数据 仅用在输入目的地或者关键词可以爬取关于目的地的所有酒店评论、美食评论、以及景点自身评论等数据以及游记数据 具体数据 酒店评论、美食评论、以及景点自身评论： 评论用户、评论用户ID、用户等级、评论内容、评论有用性、评论时间等等 游记内容： 游记地址、浏览量、评论量、游记内容、游玩时间、游玩天数、同行人等等
Python爬虫爬取马蜂窝旅游景点评分、评论、评论日期（针对只能爬取五页评论做了改动）
03-28
①马蜂窝景点的评论只能看到五页内容，因此按评论的主题对其进行爬取（虽然每个主题也只能看到五页，但爬取的结果总归是比五页多很多），爬取字段有景点评分、评论、评论日期。 ②以马蜂窝某景点为例，其评论高达3000多条，但这3000多条并非是完全向用户展示的，向用户展示的只有5页，数了一下每页15条评论，也就是75条评论，有点太少了吧！ ③因此想了个办法尽可能多爬取一些评论，根据我对爬虫爬取数据法律法规的相关了解，爬取看得到的数据是合法的，而在评论最开始的这个地方有对评论的分类，当然每个分类主题也是最多能看到5页内容，但是肯定会比我们被动的只爬取5页多很多内容，因此我们选择按主题分类去爬取评论。
使用Python爬取马蜂窝网站的游记和照片
Lei_baobao的博客
03-30 4387
使用Python爬取马蜂窝网站的游记和照片 特殊原因需要在马蜂窝上爬取一些游记和照片作为后续分析处理的数据，参考网上一些类似的爬虫文章，自己尝试了一下，这次爬取的是马蜂窝上所有有关苏州的游记（包括游记内容和照片） 我们进入一个游记，观察它的html，定位照片和游记内容所在的标签 知道了照片和游记内容的标签位置后，我们就可以利用Xpath定位到我们想要爬取的内容然后将它抓取下来了 #保存照片 ...
【爬虫项目-5】携程游记爬取
qq_44634728的博客
05-28 1457
游记里面包含了诸多信息，是用来进行文本分析的不错数据源，本文将以携程游记爬取作为例子。
携程旅游网与马蜂窝游客记录爬取
阿优乐扬的博客
10-24 8508
前言：这是我学习Python爬虫以来，第一次使用python进行大规模的进行数据挖掘。邀请我加入她们科研项目的是工商学院的彭老师，做一个关于避暑旅游的课题。当他们需要获取携程旅游笔记时，由于文章的内容太多，思路也没有考虑好，无法使用数据采集器把笔记放入Excel。于是找到了我们信息学院寻求方法帮助，我的辅导员老师就向她推荐了我。终于有机会进行大型的项目实战了，非常幸运能参与这次的项目。但也由于平...
使用Python采集游记
detuanxing6486的博客
10-25 249
本次要采集的是蚂蜂窝法国游记下面的全部3000篇游记http://www.mafengwo.cn/travel-scenic-spot/mafengwo/10171.html 首先从需要采集的网页来看，URL并不是有规律的，这时候需要得到一个URL目录就使用Fiddle抓包进行分析， 在切换页面的时候可以看到获取当前页码的所有游记（一页十条）的列表如下所示： 通过遍历data里...
Python--蚂蜂窝游记爬取代码
weixin_44137458的博客
07-08 3018
Python--蚂蜂窝游记爬取代码前言代码结果 前言 最近由于项目需求，研究了下爬虫，并写了爬取去哪儿、蚂蜂窝以及携程的景点与游记的代码。 这里献上蚂蜂窝的游记爬取代码，较为粗糙且不包含数据清理。 爬取的内容，包括每一篇游记的标题、出行日期、游玩天数、费用、人物等数据，如图红框： 最后，蚂蜂窝反爬很严格，最好多准备几个代理ip。（此代码为无代理ip的版本） 话不多说，上代码—— 代码 去博客设置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值