爬虫爬取网站菜价

最新推荐文章于 2024-12-10 16:58:27 发布

荒野大票客

最新推荐文章于 2024-12-10 16:58:27 发布

阅读量508

点赞数

分类专栏：爬虫文章标签：爬虫 python 开发语言

本文链接：https://blog.youkuaiyun.com/m0_49713747/article/details/128530824

版权

本文介绍如何在2023年1月3日利用Python爬虫技术，直接请求并解析JSON数据来抓取网站上的实时菜价信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试时间2023年1月3日

原理：直接请求json

import time
from concurrent.futures import ThreadPoolExecutor
import requests
import csv
url = "http://www.xinfadi.com.cn/getPriceData.html"

head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54'
}

# 写入文件
def xieruCsv(text,h):
    with open("新发地.csv", mode="a", encoding="utf-8") as f:
        csvfile = csv.writer(f)
        csvfile.writerow(text)
        b=time.time()
        print(h,text,b-a)
# 爬取单页菜价
def danye(url, head, data):
    # 把json形式的字符串转换成python形式的unicode字符串unicodestr=json. loads(html)
    responce = requests.post(url, headers=head, data=data)
    name = respo