Python爬虫入门教程，小白也能轻松学好

1 兴趣引入

本文会带领大家了解爬虫是什么，爬虫的基本原理。非常简单，小白也能看懂。如果看不懂就直接躺平算了。（哈哈哈）

爬⾍，从本质上来说，就是利⽤程序在⽹上拿到对我们有价值的数据。

2 基本原理

2.1 浏览器⼯作原理

（1）解析数据： 当服务器把数据响应给浏览器之后，浏览器并不会直接把数据丢给我们。因为这些数据是⽤计算机的语⾔写的，浏览器还要把这些数据翻译成我们能看得懂的内容；
（2）提取数据： 我们就可以在拿到的数据中，挑选出对我们有⽤的数据；
（3）存储数据： 将挑选出来的有⽤数据保存在某⼀⽂件/数据库中。

2.2 爬⾍⼯作原理

（1）获取数据：爬⾍程序会根据我们提供的⽹址，向服务器发起请求，然后返回数据；
（2）解析数据：爬⾍程序会把服务器返回的数据解析成我们能读懂的格式；
（3）提取数据：爬⾍程序再从中提取出我们需要的数据；
（4）储存数据：爬⾍程序把这些有⽤的数据保存起来，便于你⽇后的使⽤和分析。

3 爬虫步骤

下面我们对上图进行详细分析与讲解。

3.1 requests.get()

3.1.1 安装 requests 库

(1) Mac电脑⾥打开终端软件（terminal），输⼊pip3 install requests，然后点击 enter；
(2) Windows电脑⾥叫命令提示符（cmd），输⼊pip install requests 。

提示：往后安装其他库时与上⽅类似，pip install 模块名

3.1.2 requests 库作⽤

requests 库可以帮我们下载⽹⻚源代码、⽂本、图⽚，甚⾄是⾳频。其实，“下 载”本质上是

向服务器发送请求并得到响应。

3.1.3 requests 库使⽤

res = requests.get('URL')

requests.get 是在调⽤requests库中的get()⽅法，它向服务器发送了⼀个请求，括号⾥的参

数是你需要的数据所在的⽹址，然后服务器对请求作出了响应。我们把这个 响应返回的结果

赋值在变量res上。

3.2 Response对象的常⽤属性

3.2.1 response.status_code

打印 response 的响应状态码，以检查请求是否成功。

3.2.2 response.content

把 Response 对象的内容以⼆进制数据的形式返回，适⽤于图⽚、⾳频、视频的下载。

3.2.3 response.text

把 Response 对象的内容以字符串的形式返回，适⽤于⽂字、⽹⻚源代码的下载。

3.2.3 response.encoding

能帮我们定义Response对象的编码。（遇上⽂本的乱码问题，才考虑⽤ res.encoding）

计算机系统及编程语言（底层思维）

4 爬⾍伦理

4.1 Robots 协议

Robots 协议是互联⽹爬⾍的⼀项公认的道德规范，它的全称是“⽹络爬⾍排除标准”（Robots exclusion protocol），这个协议⽤来告诉爬⾍，哪些⻚⾯是可以抓取的，哪些不可以。

4.2 协议查看

（1）在⽹站的域名后加上/robots.txt就可以了。如淘宝的robots协议 （ http://www.taobao.com/robots.txt）；

（2）协议⾥最常出现的英⽂是Allow和Disallow，Allow代表可以被访问，Disallow代表禁⽌被访问。

---

以上就是大家在学习Python需要知道的基础入门知识，还没有掌握的同学要好好理解吸收。当然啦，学习Python仅仅知道这些基础入门知识，还是远远不够的，同学们要想系统全面地学习Python，可以试试下面的python学习资料，非常实用。

如果你对Python感兴趣的话，可以试试我整理的这份Python全套学习资料，微信扫码免费领取

😝朋友们如果有需要的话，可以V扫描下方二维码免费领取🆓

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

#### **一、Python学习路线**

二、Python基础学习

1. 开发工具

2. 学习笔记

3. 学习视频

三、Python小白必备手册

四、数据分析全套资源

五、Python面试集锦

1. 面试资料

2. 简历模板

** 因篇幅有限，仅展示部分资料，添加上方即可获取**