python爬美团美食商家

最新推荐文章于 2024-06-20 14:33:06 发布

python_WEI

最新推荐文章于 2024-06-20 14:33:06 发布

阅读量1.7k

点赞数 3

本文链接：https://blog.youkuaiyun.com/python_WEI/article/details/79702747

版权

本文介绍了如何使用Python进行网络爬虫，通过设置不同的请求头信息（header和header1）来模拟浏览器访问，以绕过网站的反爬机制，获取美团美食商家的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
import random,time
import re

url = 'http://hh.meituan.com/'
url1 = 'http://hh.meituan.com/meishi/api/poi/getPoiList?uuid=3a2a1b587cff4fb09ae9.1521202327.1.0.0&platform=1&partner=126&originUrl=http://hh.meituan.com/meishi/pn%s/&riskLevel=1&optimusCode=1&cityName=怀化&cateId=0&areaId=0&sort=&dinnerCountAttrId=&page=%s&userId=0'

header = {
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Encoding':'gzip, deflate, sdch',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Cache-Control':'max-age=0',
    'Connection':'keep-alive',
    'Cookie'</