Python零基础想学爬虫要如何自学？带你了解爬虫基本概念

1 为什么要学习爬虫

如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？

首先我们来看下面这个例子：

这是微博的微指数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，然后进行了统计，然后根据统计结果得出某个词语的流行趋势，之后进行了简单的展示

类似微指数的网站还有很多，比如百度指数，阿里指数，360指数等等，这些网站有非常大的用户量，他们能够获取自己用户的数据进行统计和分析

那么对于一些中小型的公司，没有如此大的用户量的时候，他们该怎么办呢？

1.1 数据的来源

• 去第三方的公司购买数据(比如企查查)
• 去免费的数据网站下载数据(比如国家统计局)
• 通过爬虫爬取数据
• 人工收集数据(比如问卷调查)

在上面的来源中：人工的方式费时费力，免费的数据网站上的数据质量不佳，很多第三方的数据公司他们的数据来源往往也是爬虫获取的，所以获取数据最有效的途径就是通过爬虫爬取

1.2 爬取到的数据用途

百度新闻,一家并不是做新闻的公司，这个网站上的新闻数据从哪里来的呢？

通过点击，我们可以发现，他的新闻数据都是其他网站上的，在百度新闻上仅仅做了展示

如果后续我们要做一个网站，天天新闻，是不是也可以这样做呢

那么同样的，我们后续想要做一个和网易云音乐类似的音乐网站，是不是也可以这样来做呢？

通过前面的列子，能够总结出，爬虫获取的数据的用途：

• 进行在网页或者是app上进行展示
• 进行数据分析或者是机器学习相关的项目

2 什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做

3 爬虫的更多用途

• 12306抢票

• 网站上的投票

• 短信轰炸

• 注册页面1

• 注册页面2

• 注册页面3

小结

1. 数据的来源：

• 去第三方的公司购买数据(比如企查查)
• 去免费的数据网站下载数据(比如国家统计局)
• 通过爬虫爬取数据
• 人工收集数据(比如问卷调查)
• 2.爬虫的概念：模拟浏览器发送网络请求，接收请求响应

爬虫入门教程

爬虫的分类

在上一小结中，我们介绍爬虫爬取到的数据用途的时候，给大家举了两个例子，其实就是两种不同类型的爬虫

根据被爬网站的数量的不同，我们把爬虫分为：

• 通用爬虫 ：通常指搜索引擎的爬虫（https://www.baidu.com）
• 聚焦爬虫 ：针对特定网站的爬虫

2 爬虫的流程

请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？

爬虫的工作流程：

• 向起始url发送请求，并获取响应
• 对响应进行提取
• 如果提取url，则继续发送请求获取响应
• 如果提取数据，则将数据进行保存

3 robots协议

在百度搜索中，不能搜索到淘宝网中某一个具体的商品的详情页面，这就是robots协议在起作用

Robots协议：网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是互联网中的一般约定

例如：淘宝的robots协议

小结

1. 爬虫分类：通用爬虫、聚焦爬虫
2. 爬虫的流程：

• 向起始url发送请求，并获取响应
• 对响应进行提取
• 如果提取url，则继续发送请求获取响应
• 如果提取数据，则将数据进行保存

3.robots协议：无需遵守该协议

​ 最后

为了帮助大家更好的学习Python，小编给大家准备了一份Python学习资料，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂，需要获取方式：点击这里【 Python全套资料】 即可获取。

优快云大礼包：《Python开发全套学习笔记/实战项目/安装工具》免费分享

👉Python学习路线汇总👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

​👉Python必备开发工具👈

👉精品Python学习书籍👈

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

温馨提示：篇幅有限，已打包文件夹，获取方式：点击这里【 Python全套资料】 即可获取。

优快云大礼包：《Python开发全套学习笔记/实战项目/安装工具》免费分享

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

​​​👉100道Python练习题👈

👉面试刷题👈


​​​
👉实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉Python副业兼职与全职路线👈

​​​获取方式：点击这里【 Python全套资料】 或扫描下方即可获取。

优快云大礼包：《Python开发全套学习笔记/实战项目/安装工具》免费分享