新手入门Python网络爬虫，从零开始成为高手！

---

前言

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

我们要学习的共有以下几点：

• Python基础知识
• Python中urllib和urllib2库的用法
• Python正则表达式
• Python爬虫原理
• Python爬虫框架Scrapy

---

一、Python基础学习

1 计算机基础及python介绍

1、计算机基础
2、编程语言及python介绍
3、换源下载模块
4、python2与python3的区别
5、PEP8 python编码规范
6、算法与数据结构

2 python入门基本语法

1、python入门语法
2、流程控制
3、python日志处理

3 数据类型及内置方法

1、数字类型
2、字符串类型
3、列表类型
4、元组类型
5、字典类型
6、集合

4 字符编码及文件处理

1、字符编码
2、深浅拷贝
3、文件处理

5 函数

1、函数的基本使用
2、函数的参数
3、函数对象
4、函数嵌套、名称空间及作用域
5、闭包函数
6、装饰器
7、迭代器
8、生成器
9、三元表达式、列表生成式与生成器表达式
10、面向过程编程
11、匿名函数与内置函数
12、函数递归
13、常见内置方法

6 模块与包

1、模块与包
2、软件开发目录规范
07 常用模块
1、turtle模块
2、time模块
3、pyinstaller模块
4、jieba模块
5、wordcloud模块
6、datetime模块

7 random模块

8、os模块
9、sys模块
10、hashlib模块
11、pickle模块
12、json模块
13、collections模块
14、openpyxl模块
15、subprocess模块
16、re模块
17、logging模块

8 面向对象

1、面向对象编程
2、面向对象三大特性之继承
3、面向对象之组合
4、面向对象三大特性之封装
5、面向对象三大特性之多态
6、反射
7、绑定方法与非绑定方法
8、类的内置方法（魔法方法）

9 单例模式

10、元类
09 网络编程
1、网络编程
2、socket套接字及粘包问题
3、Dns域名解析
4、一文搞懂BIO、NIO、I/O多路复用与异步AIO
5、一文搞懂 CGI, FastCGI, WSGI, uWSGI, uwsgi, ASGI

10 并发编程

1、并发编程基础及进程基础
2、进程进阶
3、线程
4、GIL全局解释器锁与协程
5、提高项目并发量

11 kafka

1、kafka基础原理
2、python操作kafka

二、Python urllib和urllib2 库的用法

urllib和urllib2库是学习Python爬虫最基本的库，利用这个库我们可以得到网页的内容，并对内容用正则表达式提取分析，得到我们想要的结果。这个在学习过程中我会和大家分享的。

三、Python 正则表达式

Python正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。这个在后面的博文会分享的。

四、爬虫基本原理

爬虫是 模拟用户在浏览器或者App应用上的操作，把操作的过程、实现自动化的程序

当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入https://www.baidu.com

简单来说这段过程发生了以下四个步骤：

1. 查找域名对应的IP地址。
2. 浏览器首先访问的是DNS(Domain Name System,域名系统),dns的主要工作就是把域名转换成相应的IP地址向IP对应的服务器发送请求。
3. 服务器响应请求，发回网页内容。
4. 浏览器显示网页内容。

网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据， 而不需要一步步人工去操纵浏览器获取。

五、爬虫框架Scrapy

如果你是一个Python高手，基本的爬虫知识都已经掌握了，那么就寻觅一下Python框架吧，我选择的框架是Scrapy框架。这个框架有什么强大的功能呢？下面是它的官方介绍：

HTML, XML源数据 选择及提取 的内置支持
提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。
通过 feed导出 提供了多格式(JSON、CSV、XML)，多存储后端(FTP、S3、本地文件系统)的内置支持
提供了media pipeline，可以 自动下载 爬取到的数据中的图片(或者其他资源)。
高扩展性。您可以通过使用 signals ，设计好的API(中间件, extensions, pipelines)来定制实现您的功能。
内置的中间件及扩展为下列功能提供了支持：
cookies and session 处理
HTTP 压缩
HTTP 认证
HTTP 缓存
user-agent模拟
robots.txt
爬取深度限制
针对非英语语系中不标准或者错误的编码声明, 提供了自动检测以及健壮的编码支持。
支持根据模板生成爬虫。在加速爬虫创建的同时，保持在大型项目中的代码更为一致。详细内容请参阅 genspider 命令。
针对多爬虫下性能评估、失败检测，提供了可扩展的 状态收集工具 。
提供 交互式shell终端 , 为您测试XPath表达式，编写和调试爬虫提供了极大的方便
提供 System service, 简化在生产环境的部署及运行
内置 Web service, 使您可以监视及控制您的机器
内置 Telnet终端 ，通过在Scrapy进程中钩入Python终端，使您可以查看并且调试爬虫
Logging 为您在爬取过程中捕捉错误提供了方便
支持 Sitemaps 爬取
具有缓存的DNS解析器

官方文档：http://doc.scrapy.org/en/latest/

---

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉优快云大礼包：《Python入门资料&实战源码&安装工具】免费领取（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python基础学习视频

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

因篇幅有限，仅展示部分资料

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

六、Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。


这份完整版的Python全套学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】