python爬虫——入门

一、概念

万维网之所以叫做网，是因为通过点击超链接或者进入URL，我们可以访问任何网络资源，从一个网页跳转到另一个网页，所有的相关资源连接在一起，就形成了一个网。

而爬虫呢，听名字就让人想起来一个黏糊糊的蠕虫或者蜘蛛等，实际上，爬虫本质上即使一个程序蜘蛛，按照一定的规则，自动沿着这张网抓取上面的信息。

用处：

• 收集目标信息：比如爬取招聘网站，找出给python工程师的薪资排在前10的本地公司，你可以用它来比较价格等。（个人）
• 舆情监控
• 市场调研
• 搜索引擎

二、安装。

python直接去官网下载即可，python编辑器我这里用的是pycharm软件。

安装教程直接百度即可。

三、爬虫流程

我们都听说过，爬虫学的好，牢饭吃的早。那么我们应该怎么正确利用爬虫技术呢？哪些事情是我们能做的，哪些是我们不能做的。

那接下来我们就来聊一聊爬虫的流程大概是什么样子的！

1. 获取网页内容：我们会通过代码给一个网站服务器发送请求，它会返回给我们网页上的内容。在我们平时用浏览器访问网页内容时，本质上也是给网站服务器发送一个请求，服务器返回网页内容。（只不过，浏览器还会进行一