爬虫技巧1:6.6s内获取爬虫需要的cookie和header
- 安居客二手房网站为例
- https://wenzhou.anjuke.com/sale/rd1/

- F12 进入开发者工具,->网络,点击下方随意一个文件右击复制为uURL(bash)

转换工具网站:https://www.lddgo.net/convert/curl-to-code
(一定要关注博主,多学轻松,技巧不是偷懒,多学不懒)
- 将复制的代码复制进来转换工具网站,切换适合的编程语言转化为爬虫代码。

3. 复制的代码后加上
html_text = response.text
print(html_text)
直接获取该网站源代码。
import requests
cookies = {
'aQQ_ajkguid': '6B111FB5-B268-4EFC-940F-C99FA180148E',
'sessid': 'C7FAAE9F-D4B2-4764-981E-340D0E753E45',
'ajk-appVersion': '

本文介绍了如何在6.6秒内通过F12开发者工具获取安居客二手房网站的cookie和header,包括使用转换工具将复制的代码转化为爬虫代码,并处理可能的IP限制问题,如使用代理或延时。
最低0.47元/天 解锁文章
31万+

被折叠的 条评论
为什么被折叠?



