“掌握爬虫，掌握互联网脉搏 —— 程序员的进阶之路”

什么是爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上，只要是浏览器(客户端)能做的事情，爬虫都能够做

如何获取爬虫程序

• 下载其他公司开发的通用爬虫(八爪鱼)
• 开发人员自己编写

区别

通用爬虫

可以提取大多数网站的数据，但是对于网站中某些特殊数据的提取方式没有实现

自定义爬虫

可以针对某一种网站自行开发符合要求的爬虫

开发语言

只要能够发送HTTP(S)请求的任何编程语言都是可以完成爬虫程序的，例如：C++、java、php、JavaScript等等，但是论爬虫开发效率一般都指的是python语言。

爬虫分类

根据抓取网站的数量不同，大致将爬虫分为两种：

• 通用爬虫：通常指搜索引擎的爬虫，例如：百度一下，你就知道
• 聚焦爬虫：针对特定网站的爬虫
• 本人毕业到现在做Python八年多，现在大厂任职，工资从3k发的现在稳定3w左右，坚持下来真的没有那么难。这期间用过的累计的python网课，文件，资料，恐怕没人比我多，有人要咩，不收米米，不要就清内存删了，看图片拿走！
•