爬虫--01：爬虫的简介

一、爬虫的简介

通讯协议

一、端口

• 我们想要进行数据通讯需要哪几部？
  • 1、找到对方IP
  • 2、数据发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 ‘逻辑端口’。
  • 3、定义通讯规则。这个通讯规则我们一般称之为‘协议‘。

二、通讯协议

• 国际组织定义了通用的通讯协议TCP/IP协议。
• 协议：就是指计算机通信网络中两台计算机之间进行通信所必须遵守的规则。
• HTTP又叫做超文本传输协议（通讯协议），端口号是“80”

三、网络模型

四、HTTPS是什么？

• HTTPS = HTTP + SSL，https是在http的基础上加上了SSL保护壳，信息的加密过程就是在SSL中完成的
• https，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL

五、SSL是什么？

• SSL也是一个协议主要用于web的安全传输协议

六、HTTP请求豫响应

• HTTP通信由两部分组成： 客户端请求消息 与 服务器响应消息
• 1、当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。
• 2、当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
• 3、浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
• 4、当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

七、客户端HTTP请求

• URL只是标识资源的位置，而HTTP是用来提交和获取资源。客户端发送一个HTTP请求到服务器的请求消息，包括以下格式：
  请求行、请求头部、空行、请求数据
  四个部分组成，下图给出了请求报文的一般格式。

八、典型的HTTP请求

Request Method: GET
Status Code: 200 OK
Remote Address: 39.156