爬虫入门前言

何为爬虫
通过编写程序，模拟浏览器上网，让其去浏览器上获取目标数据的过程
爬虫的价值
实际应用，就业
爬虫是合法的还是违法的
本身行为在法律中不被禁止
具有违法风险，主要体现在恶意爬虫：爬虫干扰了访问网站的正常运营；爬虫抓取了受到法律保护的特定类型的数据或信息
爬虫在使用场景中的分类

• 通用爬虫 抓取一整张页面数据
• 聚焦爬虫 建立在通用爬虫基础之上，抓取的页面中特定的局部内容
• 增量式爬虫 检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据

反爬机制
门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取
反反爬策略
爬虫程序通过技术手段用来破解门户网站的反爬机制，从而可以获取门户网站的目标数据
robots.txt协议
君子协议，规定网站中哪些数据可以被爬取哪些数据不可以被爬取。
http协议
服务器和客户端之间进行数据交互的一种形式
常用请求头信息
User-Agent：请求载体的身份标识
Connection：请求完毕后，是断开连接还是保持连接
常用的响应头信息
Content-Type：服务器响应回客户端的数据类型
https协议
安全的http超文本传输协议，所谓的安全会涉及到数据加密。加密方式：（1）对称密钥加密 （2）非对称密钥加密（3）证书密钥加密。这里的三种方式可以好好研究一下，此处不展开啦~