爬虫技巧1:6.6s内获取爬虫需要的cookie和header

本文介绍了如何在6.6秒内通过F12开发者工具获取安居客二手房网站的cookie和header,包括使用转换工具将复制的代码转化为爬虫代码,并处理可能的IP限制问题,如使用代理或延时。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬虫技巧1:6.6s内获取爬虫需要的cookie和header

  • 安居客二手房网站为例
  • https://wenzhou.anjuke.com/sale/rd1/
  • 在这里插入图片描述
  1. F12 进入开发者工具,->网络,点击下方随意一个文件右击复制为uURL(bash)
    在这里插入图片描述

转换工具网站:https://www.lddgo.net/convert/curl-to-code
(一定要关注博主,多学轻松,技巧不是偷懒,多学不懒)

  1. 将复制的代码复制进来转换工具网站,切换适合的编程语言转化为爬虫代码。

在这里插入图片描述
3. 复制的代码后加上
html_text = response.text
print(html_text)
直接获取该网站源代码。

import requests

cookies = {
    'aQQ_ajkguid': '6B111FB5-B268-4EFC-940F-C99FA180148E',
    'sessid': 'C7FAAE9F-D4B2-4764-981E-340D0E753E45',
    'ajk-appVersion': '',
    'ctid': '106',
    'id58': 'CrIfp2VpfXWwN9qRHY1NAg==',
    '58tj_uuid': 'bef0a89a-5177-4b84-9389-c645a1d63e34',
    '_ga': 'GA1.2.1675396380.1701572517',
    'als': '0',
    'new_uv': '2',
    '_ga_DYBJHZFBX2': 'GS1.2.1701577359.2.0.1701577359.0.0.0',
    'twe': '2',
    'fzq_h': 'dab1587be89b7a7bba9e41107430db6d_1702261024042_b6d3496d28fa457eb5c60fa0b8915fb9_1944888259',
    'fzq_js_anjuke_ershoufang_pc': '7bcc203a66e9d32ed7f574544405a0fb_1702261047085_24',
    'obtain_by': '1',
    'xxzl_cid': '7e0d615d9b5242e486a4754c39da4d51',
    'xxzl_deviceid': 'pbTJ0ZylrCzDJmZ1NEVQTfp70hmDzG+EhzjIj1glnWRw/1eV8Yc6n3M8j3Ziur9q',
}

headers = {
    'authority': 'wenzhou.anjuke.com',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'cache-control': 'max-age=0',
    # Requests sorts cookies= alphabetically
    # 'cookie': 'aQQ_ajkguid=6B111FB5-B268-4EFC-940F-C99FA180148E; sessid=C7FAAE9F-D4B2-4764-981E-340D0E753E45; ajk-appVersion=; ctid=106; id58=CrIfp2VpfXWwN9qRHY1NAg==; 58tj_uuid=bef0a89a-5177-4b84-9389-c645a1d63e34; _ga=GA1.2.1675396380.1701572517; als=0; new_uv=2; _ga_DYBJHZFBX2=GS1.2.1701577359.2.0.1701577359.0.0.0; twe=2; fzq_h=dab1587be89b7a7bba9e41107430db6d_1702261024042_b6d3496d28fa457eb5c60fa0b8915fb9_1944888259; fzq_js_anjuke_ershoufang_pc=7bcc203a66e9d32ed7f574544405a0fb_1702261047085_24; obtain_by=1; xxzl_cid=7e0d615d9b5242e486a4754c39da4d51; xxzl_deviceid=pbTJ0ZylrCzDJmZ1NEVQTfp70hmDzG+EhzjIj1glnWRw/1eV8Yc6n3M8j3Ziur9q',
    'referer': 'https://wenzhou.anjuke.com/',
    'sec-ch-ua': '"Microsoft Edge";v="119", "Chromium";v="119", "Not?A_Brand";v="24"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'same-origin',
    'sec-fetch-user': '?1',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
}

params = {
    'kw': '',
}

response = requests.get('https://wenzhou.anjuke.com/sale/rd1/', params=params, cookies=cookies, headers=headers)
html_text = response.text
print(html_text)

最后安居客有IP限制的话需要作代理或者加延时。

### 安居客出租房(武汉为例)爬虫+数据分析+可视化 这个爬虫是我前段时间在淘宝上做单子的时候遇见的一个客户需求。本来以为就是一个简单的爬虫项目。但后面客户加了数据清洗数据分析的要求。而后又加了要详细代码解释的需求等等。直到最后客户坦白说这是他们大专的毕设.......但是这个单子坐下来只有200左右,我想了一下,感觉好亏啊。在淘宝上随便找一个做毕设的都要好多钱的,而且客户本身的代码能力、数学、逻辑能力都很差,导致我每行都给注释以及看不懂,在我交付代码后又纠缠了我一个多礼拜。反正总体做下来的感觉就是烦躁。头一次感觉到了客户需求变更带来的巨大麻烦。 总之这是一次不是很愉快的爬虫经历。但是作为我写爬虫以来注释最详细的一次,以及第一次真正使用像matplotlib这种数据分析库的代码,我认为还是有必要分享出来给大家当个参考的(PS:大佬轻拍~)。爬虫本身几乎没有什么难度,写的也比较乱,敬请见谅。 **功能** 爬取安居客上的出租房信息(武汉地区的),并通过爬取的数据进行数据清洗以及数据分析。给出四个不同层面的可视化图。最终结果如下图所示: ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/1.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/2.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/3.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/4.png) **环境** 1. Windows 10 2. python3.7 **使用方法** 首先声明该爬虫由于是特定情况下写的,所以本身的通用性特别差,仅可以对安居客网站上的武汉的出租房信息进行爬取,且需要自己手动更新cookie。同时在对数据进行分析及可视化的时候由于也是特别针对武汉出租房的进行的,所以针对性也比较强。如果别的需求需要自己进行更改。 1. 访问[安居客网址](https://wuhan.anjuke.com/),获取cookie。 > tip:获取cookie的方法可根据[此链接](https://jingyan.baidu.com/article/5d368d1ea6c6e33f60c057ef.html) 2. 在项目中找到`spider.py`的文件,将第12行的cookie换成你自己的cookie。 3. 运行`spider.py`,获取房源信息。运行后应会产生一个`武汉出租房源情况.csv`的文件。此文件为我们从安居客上爬取的房源信息,其中包含`房屋租住链接、房屋描述、房屋地址、房屋详情(户型)以及经纪人、房屋价格`五个属性。 4.获取了数据之后我们运行`matplotlib.py`文件。进行数据清洗,分析,可视化。运行后即可获得**功能**中展示四个图片。 **技术栈** 1. request 2. parsel 3. pandas 4. matplotlib **进步(相比之前)** 此次爬虫相比之前的技术上可以说有减无增。但其中注释相当详细,可谓是每行代码都有注释。所以对于初学者应该有一些用处。同时使用matplotlib进行了数据分析可视化等。对于数据处理的代码的注释也是几乎每行都有注释的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值