python编写简单的网络爬虫——爬取内涵段子（请求头header反爬，适用瀑布流试网站，淘宝、知乎等）

孟祥楠

于 2018-03-14 11:30:54 发布

阅读量2.3k

点赞数

分类专栏： python 文章标签：网络爬虫 python

本文链接：https://blog.youkuaiyun.com/qq_24886937/article/details/79552104

版权

本文介绍了如何使用Python编写网络爬虫抓取内涵段子的内容。首先通过Chrome开发者工具找到请求数据链接和请求头header信息，然后揭示了网站的分页规律，利用max_time参数进行无限迭代抓取。为了应对网站的反爬机制，文章强调了使用请求头header模仿浏览器请求的重要性，并提示请求头参数会因网站而变化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步：找到内涵段子的请求数据链接，在谷歌浏览器中打开内涵段子，按F12进入开发者模式，点击Network，Network是记录与服务器之间进行的请求数据。

第二步：点击加载更多，在开发者模式下，点击name下的请求链接，即可找出本次的请求得到的json数据，以及请求头header信息，点击copy link address复制下请求链接。

第三步：找出网站的分页规律，对比两次的请求链接发现，只有max_time不同，找到它的取值方式，即取上一次请求数据中的max_time的值，做为下一次请求的值，从而实现分页。

http://neihanshequ.com/bar/1/?is_json=1&app_name=neihanshequ_web&max_time=1520982083
http://neihanshequ.com/bar/1/?is_json=1&app_name=neihanshequ_web&max_time=1520973233

第四部：通过无限迭代抓取数据，但