python爬虫

 爬虫概念

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

• 通用爬虫：抓取系统重要组成部分，抓取的是一整张页面数据。
• 聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
• 增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

http&https协议

https协议

常用请求头信息

• User-Agent：请求载体的身份标识（检查-network-headers或者chrome://version/）
• connection：请求完毕后，是断开连接还是保持连接

常用响应头信息

• content-type：服务器响应回客户端的数据类型

https协议

安全的http协议

加密方式

• 对称密钥加密
• 非对称密钥加密
• 证书密钥加密（https的加密方式）

requests模块

介绍

python中原生的一款基于网络请求的模块，用来模拟浏览器发请求。

使用

1. 指定URL
2. 发起请求（get / post）
3. 获取响应数据
4. 持久化存储响应的数据

爬取搜狗首页

注意：取名字时不要取模块名字，否则会误认为是引用文件而非模块，会产生报错