惠农网_破译反爬虫_使用代理IP爬取数据(源码)_一蓑烟雨任平生

关注

VIP免费原创最新推荐文章于 2026-10-19 08:44:47 发布 2.2k 阅读 AI 写同款· GEO 优化 ›

Python爬虫实战：手把手教你爬取农产品数据（附代码）前言文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。爬虫的网站：万邦国际集团。其成立于2010年，总部位于河南省郑州市，以“立足三农、保障民生、服务全国”为宗旨，业务涵盖综合性农产品冷链物流、高效生态农业开发、生鲜连锁超市、跨境电子商务、进出口贸易等农业全产业链。荣获重点龙头企业、全国农产品“综合十强市场”... 阅读详情

费话不多说直接上代码

今天要倒霉的网站是惠农网行情大厅

import requests
from bs4 import BeautifulSoup  # 用来解析网页
import uuid
import pymysql
import time  # 导入时间隔
import random
from fake_useragent import UserAgent

cookk = {
   
   
    'Cookie': 'sessionId=S_0KHA8RH66NM124OL; Hm_lvt_91cf34f62b9bedb16460ca36cf192f4c=1604907974,1604908122; Hm_lpvt_91cf34f62b9bedb16460ca36cf192f4c=1604912363; deviceIdRenew=1; lmvid=1e19526d8b71a2ee4a3a8ff527100d30; lmvid.sig=hV1QMMdZFpUaz_-YYY93w; deviceId=05ac3ef-5c72-405f-be76-83e97e186; hnUserTicket=d67ed8dc-df8a-45fe-85cd-1530efae920d; hnUserId=125807455'}

headers = {
   
   
    'Host': 'www.cnhnb.com',
    'Referer': 'https://www.cnhnb.com/hangqing/cdlist-0-0-0-0-0-1/',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',

}
types = [2003191, 2003192, 2003193, 2003194, 2003195, 2003196, 2003197, 2003198, 2003200]


def func():
    conn = pymysql.connect(host='127.0.0.1', user='root', passwd='123456', db='zhang', charset='utf8')
    cur = conn.cursor()
    print("数据库已连接")
    for type in types:
        for i in range(19, 50):