double_happy111的博客

Python爬虫（三）-----第一个爬虫 1.python的相应的爬虫模块 urllib模块 requests模块 2.requests模块 python中原生的一块基于网络请求的模块，功能非常强大，简单便捷，效率奇高 作用：模拟浏览器发送请求。 3.如何使用requests模块 指定url 发起请求 获取响应数据 持久化存储 4.环境准备 需要安装requests库 pip install reuqests 这个是从官网上下载库，由于国家的安全措施，我们可以使用国内源： 临时使用：

Python爬虫（二） 1.http协议 概念：是服务器和客户端进行数据交互的一种形式。 2.常用请求头信息 User-Agent：请求载体的身份标识 3.获取User-Agent 打开浏览器 右击检查 点击network 点击刷新页面 点击一个文件进入 4.Connection 请求完毕后，是断开连接还是保持连接。 5.常用响应头信息 Content-Type：服务器响应会客户端的数据类型 6.https协议 安全的http（超文本传输）协议：对传输的数据进行加密。

Python爬虫（一） 文章目录Python爬虫（一）1.什么是爬虫？2.爬虫是否合法？3.爬虫带来的风险4.如何在使用中注意5.爬虫在使用场景中的分类6.反爬机制7.反反爬策略8. robots.txt 协议 1.什么是爬虫？ 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。 2.爬虫是否合法？ 在法律中不被禁止 具有违法风险 善意爬虫 3.爬虫带来的风险 爬虫干扰了访问网站的正常运营 爬虫抓取了受到法律保护的特定类型的数据或信息 4.如何在使用中注意 时常优化自己的程序，避

认识python 1.编程是什么？ 程序：在计算机上真正执行的是CPU，程序是指导CPU进行工作的文本，先告诉CPU先干什么，再干什么。是CPU的工作手册。 汇编：因为0和1组成的程序不具备可读性，因此发明了汇编语言。直接操作CPU的器件(运算器寄存器和控制器)。所谓汇编(动词)就是将汇编语言翻译成二进制代码的过程。 编程语言：因为汇编语言没有移植性，发明了一次编写，多次翻译(编译)的编程语言。 编译性语言和解释性语言：在不同的硬件环境和系统环境上，装上对应版本的解释器，面解释器解释解析性语言的时候，语法是