Python爬虫之headers和data的获取

最新推荐文章于 2024-01-07 11:27:04 发布

Running_free

最新推荐文章于 2024-01-07 11:27:04 发布

阅读量1.6w

点赞数 7

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫 hesders

本文链接：https://blog.youkuaiyun.com/Running_free/article/details/85210156

python 专栏收录该内容

27 篇文章

订阅专栏

本文介绍如何使用F12工具获取headers和data信息，以实现更高效的网页爬取。通过具体案例，如ipipnet和电驴登录界面，详细展示了headers和data的获取方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python爬虫之headers和data的获取

在用爬虫爬取网页数据时，有些网站需要登录后才能爬取内容，还有很多网站会识别是否是由浏览器发出的请求，如果不是会拒绝请求，这个时候就需要模拟浏览器发出请求

#一、headers的获取
就以ipipnet为例：https://www.ipip.net/

打开网页，按下F12键，如下图所示：

点击下方标签中的Network，如下：

在这里插入图片描述

接下来刷新网页，找到下图红框中name为www.ipip.net的标签并点击，在右边的显示内容选择headers标签，就可以查看到所需要的headers信息。

在这里插入图片描述

下图中红框中就是我们要的headers信息
在这里插入图片描述

一般只需要添加User-Agent这一信息就足够了，headers同样也是字典类型；

user_agent = Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36' 
headers = { 'User-Agent' : user_agent }

二、data获取

以电驴登录界面为例：http://secure.verycd.com/signin

按下F12键，如下图所示：
在这里插入图片描述

点击Network，然后随意输入用户名和密码，点击登录可以看到如下图所示：
在这里插入图片描述

data信息在From Data标签中：

data={
	username: “18888888888”，
	password: “8888888888”，
	continue: “http://www.verycd.com”，
	fk: “”，
	save_cookie: 1，
	login_submit: “登录”
}

每一个登录网站的data信息不一定一样，都需要进入网页确定。