python爬美团美食商家

原创

于 2018-03-26 19:38:42 发布 · 1.7k 阅读

14 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Python进行网络爬虫，通过设置不同的请求头信息（header和header1）来模拟浏览器访问，以绕过网站的反爬机制，获取美团美食商家的数据。

import requests
import random,time
import re

url = 'http://hh.meituan.com/'
url1 = 'http://hh.meituan.com/meishi/api/poi/getPoiList?uuid=3a2a1b587cff4fb09ae9.1521202327.1.0.0&platform=1&partner=126&originUrl=http://hh.meituan.com/meishi/pn%s/&riskLevel=1&optimusCode=1&cityName=怀化&cateId=0&areaId=0&sort=&dinnerCountAttrId=&page=%s&userId=0'

header = {
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Encoding':'gzip, deflate, sdch',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Cache-Control':'max-age=0',
    'Connection':'keep-alive',
    'Cookie':