爬虫之HTTP基础知识

基础知识

HTTP = HyperText Transfer Protocol
URI = Uniform Resource Identifier
URL = Uniform Resource Locator

URL解释

完整的URL由这几个部分构成：scheme://host:port/path?query#hash：
scheme：通信协议，常用的有http、https、ftp、mailto等。
host：主机域名或IP地址。
port：端口号，可选。省略时使用协议的默认端口，如http默认端口为80。
path：路径由零或多个”/”符号隔开的字符串组成，一般用来表示主机上的一个目录或文件地址。
query：查询，可选。用于传递参数，可有多个参数，用”&”符号隔开，每个参数的名和值用”=”符号隔开。
hash：信息片断字符串，也称为锚点。用于指定网络资源中的片断。

URL例子

比如URL如下，https://www.baidu.com/index.html?id=1&page=1#name1
用javascript获得其中的各个部分如下：
window.location.href：整个URl字符串，返回值：”https://www.baidu.com/index.html?id=1&page=1#name1“。
window.location.protocol：协议部分，返回值：”https:”。
window.location.host：主机部分。返回值：”www.baidu.com”。
window.location.port：端口部分。如果采用了协议默认的端口，则返回空字符。本例返回值：”“。
window.location.pathname：路径部分。返回值：”/index.html”。
window.location.search：查询(参数)部分。返回值：”?id=1&page=1”。
window.location.hash：锚点。返回值：”#name1”。

常用请求类型

GET: 向特定资源发出请求
POST: 向指定资源提交数据进行处理请求
post请求起始就是form的表单，这里一定要注意form的action属性的连接是多少，传入参数的页面是action指向的页面，而不是form本身所在的页面。

请求报头

Header	解释	示例
Host	主机和端口号
Connection	连接类型	Connection:keep-alive 为默认值,如果server不支持keep-alive则返回Connection:close
Accept	指定客户端能够接收的内容类型	Accept: text/plain(接受纯文本形式), text/html(接收html标签),*/*(所有的都接收)
Referer	页面跳转处,就是这个链接是来自于哪个页面,根据这个防盗链
Accept-Charset	浏览器可以接受的字符编码集。	Accept-Charset: iso-8859-5
Accept-Encoding	指定浏览器可以支持的web服务器返回内容压缩编码类型。	Accept-Encoding:gzip;q=1.0, identity; q=0.5, *;q=0 (q表示前面编码的权重,更倾向于用哪种编码解析)
Accept-Language	浏览器可接受的语言	Accept-Language: en,zh
Cookie	HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。	Cookie: $Version=1; Skin=new;
Content-Type	post请求里用来表示内容的类型
User-Agent	User-Agent的内容包含发出请求的用户信息	User-Agent: Mozilla/5.0 (Linux; X11)
Upgrade-Insecure-Requests: 1	告诉服务器，浏览器可以处理https协议

服务器响应状态

状态	说明
1xx	指示信息–表示请求已接收，继续处理
2xx	成功–表示请求已被成功接收、理解、接受
3xx	重定向–要完成请求必须进行更进一步的操作
4xx	客户端错误–请求有语法错误或请求无法实现
5xx	服务器端错误–服务器未能实现合法的请求

常见的状态

状态	说明
200 OK	客户端请求成功
400 Bad Request	客户端请求有语法错误，不能被服务器所理解
401 Unauthorized	请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用
403 Forbidden	服务器收到请求，但是拒绝提供服务
404 Not Found	请求资源不存在，eg：输入了错误的URL
500 Internal Server Error	服务器发生不可预期的错误
503 Server Unavailable	服务器当前不能处理客户端的请求，一段时间后可能恢复正常

参考文献:
http://www.cnblogs.com/li0803/archive/2008/11/03/1324746.html
http://blog.youkuaiyun.com/jingcheng345413/article/details/55258996