《封号码罗》python爬虫之某网站headers分析（十三）

关注

原创最新推荐文章于 2026-09-01 16:15:27 发布 229 阅读 AI 写同款· GEO 优化 ›

scrapy进阶《封号码罗》之如何优雅的征服世界首富亚马逊(amazon.com) 免责声明：原创文章，仅用于学习，希望看到文章的朋友，不要随意用于商业，本作者保留当前文章的所有法律权利。欢迎评论，点赞，收藏，转发！关于亚马逊的爬虫，针对不同的使用场合，前前后后写了有六七个了，今天拿出其中一个爬虫，也是相对其他几个爬虫难度稍微大一些的，这个爬虫用到了我之前没有使用过的一个爬虫手法，虽然头疼了一天半的时间，不过最终还是写出来了！先上爬到结果，一睹芳容！ # settings.... 阅读详情

免责声明：仅供学习

from pprint import pprint
import re
import requests
from requests.packages import urllib3

urllib3.disable_warnings()

INDEX_URL = "http://www.zjmazhang.gov.cn/hdjlpt/published?via=pc"
POST_URL = "http://www.zjmazhang.gov.cn/hdjlpt/letter/pubList"

response = requests.get(url=INDEX_URL)
cookies = response.cookies
session = cookies["szxx_session"]
# pprint(session)
# var _CSRF = 'Z2miF39qVvSRJU1hlQiXQsD3vun0gKAbynoMt7R3';
# 这个参数网页里面有，直接正则获取
csrf = re.search("_CSRF = \'(.*?)\';", response.text).group(1)
# print(response.text)


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36",
    "Cookie": f"szxx_session={session}",
    "X-CSRF-TOKEN": f"{csrf}"
}
# print(headers)

data = {
    "offset": 0,
    "limit": 20,
    "site_id": "759010"
}

res = requests.post(url=POST_URL, data=data, headers=headers)
pprint(res.json())