爬虫之爬取中国移动采购与招标网

关注

VIP免费原创最新推荐文章于 2026-04-21 23:10:57 发布 5.1k 阅读 AI 写同款· GEO 优化 ›

中国采购招标网爬虫采集破解中国采购招标网 URL,通过爬虫去请求该网站会返回521状态码，需要带着特定cookie去访问，此cookie又是动态变化，如果想要持续采集就得破解此cookie生成规则。站点反爬分析通过Fiddler抓包分析，可以看出它的请求顺序。 1. 首次发起请求，返回状态码为521，返回第一段加密cookie，携带第一段加密的cookie去请求会返回第二个521状态码，会返回第二段加密cookie，然后携带第一段和第二段cookie去请求页面，才返回正常状态码，通过观察第二段加密cookie有时效性，. 阅读详情

文章目录

一、确认爬取目标

爬取中国移动采购与招标网

https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2

二、尝试爬取

首先我使用开发者工具，尝试看一下，数据是怎么请求回来的。

然后就发现这个，

在这里插入图片描述

https://b2b.10086.cn/b2b/main/listVendorNoticeResult.html?ekp1APd1=5TLUwJWxAYSUQisKAQ7GQCmzeFYm3elSTJIbLwkENOZcE12UDTYQwQlfkHI060.eBM1uON79v8qI1LO7tF7F.X8OAzNv2UJzHC3c7mIn7kdv8uXX9oYb2fnQHKnadmc5g4UxDf3gtSPSVp2dTR.8w53vDV9zEmIFvtZEfuhjtWpy76pDtYbZyrwDAQu.ajmtBgS6V_te04Npxi.z7n29IOrW0vGx69gEODHLj7SpROqNSgrRnjg6m2C10.nxiPE3Ct1Z7l9prASgIZsjvRvPA4R7qrXjxPHyOQ8qjtk5cusVz6KcLLEq1C0M.iAxh1jFaI_71dvxIVG1Y8GMkyJLRfZdMqR486Fs8hElRevldHeA&TB2MFwna=4QzPraLfz28OIFVRtGW84.C9jpMGeku7LWPoPWDJ02_xrpYWLY.c2YCWGvQsQ.mQo3bNxDkTGTAZ2HyxEen9QeI0e0MV7lT6inRUqWDy47nRYhdG0hqTjvvznYpfB1ONw8X1VE43GQXkqRolOuJW0ShZrVaqEDLjOGaewpowVguQ

根据这个可以通过分析js代码，查看参数的生成方式。使用requests.post请求之后，发现请求失败。

改变策略，使用selenium来试试看，普通的selenium没有隐藏掉相关的信息，发现还是返回不了数据。

在这里插入图片描述

现在有两个方法可以解决，一是隐藏掉selenium的信息，二是使用pyppeteer库，这一次先使用pyppeteer来爬取这个网站的信息。

三、使用`pyppeteer`库

这个库是puppeteer（node.js的一个库）的python版本，已经好久没更新了，之后可以使用node.js来实现，现在先使用pyppeteer来解决这个问题。

一些基本的语法，在上一篇博客中介绍了，有兴趣的可以去看看。

下面来尝试一下

import asyncio
from pyppeteer import launch


async def main():
    url = 'https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2'
    browser = await launch(headless=False, ignoreDefaultArgs=['--enable-automation'])
    page = await browser.newPage()
    await page.goto(url)

    # 待提取数据

    input('输入随意字符退出：')

    await browser