该博客介绍了一个Python爬虫程序，用于抓取大众点评网站上的店铺评论。程序通过获取IP列表和请求头，利用requests库进行HTTP请求，分别针对不同URL结构抓取评论并保存为TXT和JSON文件。最后，程序读取并整合抓取到的数据，生成CSV文件。
import os
import random
import time
import requests
from spider.get_ip import getIpList, getHeader
from utils.read_write import writeOneCsv, readCsv, writeOneJson, readJson, writeCsv, writeOneTxt
from utils.time_change import timestamp_datetime
save_dir = r"F:\data\other\meituan\txt\\"
proxys = getIpList()
headers = getHeader()
os.chdir(r"F:\data\other\meituan")
def search(id):
url = "http://www.dianping.com/ajax/json/shopDynamic/allReview?shopId={}&cityId=1474&shopType=35&tcv=0qu8u5dlnr&_token=eJxVj1tvgkAQhf%2FLPhPYhUVZEh%2FUaipCKSxso40PFKwiFwU2XDT9711TfWgyyTnzzZlk5gbqVQJMBCHESALtvgYmQDKUR0ACvBETnYwxQtgYYc2QQPyfEUIk8FWzF2B%2BIqJCiWjj3Z34AvwRBA24k54eC69iUffUSoTAkfOLqShd18lJGpWXtDzI8blQmuP5orzq%2FuLEr%2By9HVWGWvbiKCA2i0BsCs0eGj2UP3tHfCGyTXoohdtbfUAb3FTfvtMEIXSCxB8GsqZUHewY2TT
最低0.47元/天 解锁文章
扫一扫
7237
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
