Python爬虫02_Requests实战网页采集器

一、Request请求伪装解析
#UA：User-Agent（请求载体身份标识）
#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份呢标识为某一款浏览器，说明该请求是一个正常的请求，
#但是如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示为不正常的请求（爬虫），则服务器端就很有可能拒绝该请求。
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests
#执行UA伪装，写入UA信息，封装到字典中
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:122.0) Gecko/20100101 Firefox/122.0'
}
url = 'https://www.sogou.com/web'
#处理url携带的参数：封装到字典中
kw = input('enter a word:')
param = {
    'query':kw
}
#对指定的url发起的请求对应的url添加携带的参数信息，并且于请求过程中处理了参数，
response = requests.get(url=url,params=param,headers=headers)
page_text = response.text
fileName = kw+'.html'
with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(fileName,'保存成功！！！')

二、HTTP请求报文解析
HTTP 请求报文（Request Message）是客户端发给服务器的数据包，通常由 起始行（Start Line）、请求头（Headers） 和 可选的消息体（Body） 三部分组成。
1. 起始行（Start Line）
分为三部分，用空格分隔：
GET /index.html HTTP/1.1
方法（Method）：如 GET、POST、PUT、DELETE 等，表示操作类型。
路径（Path）：请求的资源路径（如 /index.html），可包含查询参数（如 /api?key=123）。
协议版本（HTTP Version）：如 HTTP/1.1 或 HTTP/2。
2. 请求头（Headers）
键值对形式（Key: Value），每行一个，常见字段：

字段名	示例值	作用说明
Host	www.example.com	目标主机域名（HTTP/1.1 必须字段）
User-Agent	Mozilla/5.0 (Windows NT 10.0)	客户端软件标识
Accept	text/html,application/xhtml+xml	客户端能处理的媒体类型
Accept-Encoding	gzip, deflate	支持的压缩算法
Content-Type	application/json	Body 的数据类型（POST/PUT 必填）
Content-Length	348	Body 的字节长度
Authorization	Bearer token123	身份验证凭证
Cookie	sessionid=abc123	携带的 Cookie 数据
Cache-Control	no-cache	缓存控制策略

3. 消息体（Body）
可选部分，通常用于 POST/PUT 请求，携带实际数据。例如：
表单提交（Content-Type: application/x-www-form-urlencoded）：
username=tom&password=123456
JSON 数据（Content-Type: application/json）：

{"username": "tom", "password": "123456"}

完整示例：

POST /api/login HTTP/1.1
Host: example.com
User-Agent: curl/7.68.0
Accept: application/json
Content-Type: application/json
Content-Length: 43

{"username": "alice", "password": "secret123"}