爬虫笔记

爬虫

分类：

通用爬虫：
	抓取系统重要组成部分，抓取整张页面。
聚焦爬虫：
	建立在通用爬虫基础之上，抓取页面中特定的局部内容。
增量式爬虫：
	检测网站中数据更新的情况。只会抓取网站中最新更新出的数据。

矛与盾：

反爬机制：
	门户网站，通过制定相应策略或技术手段，防止爬虫程序进行网站数据的爬取。
反反爬策略：
	爬虫程序可以通过制定相关的策略或技术手段，破解门户网站的反爬机制，从而获取门户网站的数据。

robots.txt协议

规定了网站中那些数据可以被爬虫爬取。

http协议

概念：服务器与客户端及逆行数据交互的一种形式。

常用请求头信息：

User-Agent：请求载体的身份标识
Connection：请求完毕后，是断开连接还是保持连接

常用响应头信息

Content-Type：服务器响应回客户端的数据类型

https协议

安全的超文本传输协议（数据加密）

加密方式：

对称密钥加密
非对称密钥加密
证书密钥加密

requests模块：

python中原生的一款基于网络请求的模块，功能强大简单便捷。
作用：模拟浏览器发请求。
使用（requests模块的编码流程）
	指定url发起请求获取响应数据持久化存储
环境安装：
	pip install requests