本文详细解析了网络数据抓取的过程，包括如何设置过滤信息抓取特定网站的数据包，如优快云，并深入分析了请求与响应报文的构成。讲解了请求报文中请求首行、请求头信息及请求体的组成，特别是GET请求的特点；同时，阐述了响应报文的响应首行、响应头信息和响应体，涵盖了关键信息如Cookie、Content-Type等。
抓取指定网站的包（以优快云为例）：
- 添加过滤信息 （域名前不要加http）
- 查看分析抓取的数据
2.1 请求报文
请求报文包括：请求首行、请求头信息、请求体
GET请求一般没有请求体，在URL中携带请求参数
2.1.1 请求首行
请求首行包括：请求方法、域名&路径、HTTP协议版本号
2.1.2 请求头信息
请求头信息中比较重要的信息有Accept、User-Agent、Cookie
Accept：告诉服务器返回指定的数据格式，比如下图中<json, text/javascript，任意格式>
User-Agent（客户端类型）：标识客户端身份，即客户端告诉服务器自己的身份，比如下图中 < chrome >
Cookie：网站为了辨别用户进行会话跟踪而存储在用户本地的数据，用于维持当前访问会话
2.1.3 请求体
GET请求一般没有请求体，所以是空的
2.2 响应报文
响应报文包括：响应首行、响应头信息、响应体
2.2.1 响应首行
响应首行包括：HTTP协议版本号、响应状态码、对相应状态码的文字描述
2.2.2 响应头信息
响应头信息中比较重要的信息有Content-Type、Set-Cookie
Content-Type：服务器指明返回数据的类型
Set-Cookie：服务器返回的响应头用来在浏览器种cookie，一旦被种下，当浏览器访问符合条件的url地址时，会自动带上这个cookie
2.2.3 响应体
响应体一般返回的是数据
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
