爬取饿了么的商家+评论数据

最新推荐文章于 2025-01-30 20:42:38 发布

风度翩翩猪肉王子

最新推荐文章于 2025-01-30 20:42:38 发布

阅读量6.4k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/qq_17249717/article/details/84570031

本文介绍了如何抓取饿了么首页的商家信息，包括商铺名、评分等级和配送信息。面对动态页面，通过开发者工具观察JS或XHR请求，找到目标URL，并分析JSON数据结构，利用get方法提取所需内容。同样方法也可应用于获取商家评论信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

该地附近的商家信息如图所示：
在这里插入图片描述

现在我要抓取首页的所有商家信息（商铺名、评分等级、配送信息等），如果提示要查看更多商家，请登录。为了测试，我们就可以人为登陆。现在，当我的鼠标滚轮不断向下滑动时，发现商家信息不断增加，但网址没有发生变化，这就是动态页面。按F12，打开开发者工具选项，F5刷新，鼠标不断向下滚动，我们发现控制台的网址在不断增加。一般地，动态页面的网址出现在JS或者XHR选项工具栏，不断滑动滚轮，找到我们所需内容所在的网址，如图所示：
在这里插入图片描述

现在我们找到了目标URL，在开发者选项工具中，切换到Headers，就可以直观地看到目标URL，如图所示：
在这里插入图片描述

打开此URL就可以找到我们所需的信息，注意这是json格式的数据。进一步，我们找到网址变化的规律，只需改变offset参数即可。

json格式数据解析，类似于字典的操作，用get方法提取所需数据，现在假设我要商家的店铺名，代码如下：

import requests

def search(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x6

最低0.47元/天解锁文章

200万优质内容无限畅学