python-爬虫 抓取美食板块商家数据

本文通过Python爬虫技术,展示了如何使用Meituan API获取餐饮商家信息,包括名称、类型、最低消费、评分等,并抓取了商家地址和电话。重点介绍了数据抓取和处理过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

import pprint
import requests
import csv
import re
url='http://meishi.meituan.com/i/api/channel/deal/list'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62',
'Referer': 'http://meishi.meituan.com/i/?ci=790&stid_b=1&cevent=imt%2Fhomepage%2Fcategory1%2F1',
'Cookie': '填自己的'}
data={
    'app': '""',
    'areaId': '0',
    'cateId': '1',
    'deal_attr_23': '""',
    'deal_attr_24': '""',
    'deal_attr_25': '""',
    'limit': '10',
    'lineId': '0',
    'offset': '0',
    'optimusCode': '10',
    'originUrl': '"http://meishi.meituan.com/i/?ci=790&stid_b=1&cevent=imt%2Fhomepage%2Fcategory1%2F1"',
    'partner': '126',
    'platform': '3',
    'poi_attr_20033': '""',
    'poi_attr_20043': '""',
    'riskLevel': '1',
    'sort': '"default"',
    'stationId': '0',
    'uuid': '"0f20dff3e2fa4497879a.1651895026.1.0.0"',
    'version': '"8.2.0"',
}
response=requests.post(url=url,data=data,headers=headers).json()
dd=response['data']['poiList']['poiInfos']

f=open('./data.csv','a',encoding='utf-8',newline='')#a 是追加保存
csv_write=csv.DictWriter(f, fieldnames=[
    '店铺名',
    '饮食类型',
    '最低消费',
    '评分',
    '商圈',
    '商家地址',
    '商家电话',
    '商家网址',
])
csv_write.writeheader()
for i in dd:
    dit={
        '店铺名':i['name'],
        '饮食类型':i['cateName'],
        '最低消费':i['avgPrice'],
        '评分':i['avgScore'],
        '商圈': i['areaName'],
        '商家网址':'https://meishi.meituan.com/i/poi/'+i['poiid']
    }
    header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62',
    'Cookie':'填自己的',
    'Referer':'http://meishi.meituan.com/i/?ci=790&stid_b=1&cevent=imt%2Fhomepage%2Fcategory1%2F1',
    }
    hh = requests.get(url=dit['商家网址'],headers=header).text
    obj = re.compile(r'addr":"(?P<addr>.*?)","phone":"(?P<phone>.*?)"')
    result = obj.finditer(hh)
    for item in result:
        addr = item.group('addr')
        phone = item.group('phone')
        dit['商家地址']=addr
        dit['商家电话']=phone
    print(dit)
    csv_write.writerow(dit)

测试结果:

 

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唯一ovo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值