根据本人的习惯与理解，用最简洁的表述，介绍爬虫的定义、组成部分、爬取流程，并讲解示例代码。
基础
爬虫的定义：定向抓取互联网内容（大部分为网页）、并进行自动化数据处理的程序。主要用于对松散的海量信息进行收集和结构化处理，为数据分析和挖掘提供原材料。
今日t条就是一只巨大的“爬虫”。
爬虫由URL库、采集器、解析器组成。
流程
如果待爬取的url库不为空，采集器会自动爬取相关内容，并将结果给到解析器，解析器提取目标内容后进行写入文件或入库等操作。
代码
第一步：写一个采集器
如下是一个比较简单的采集器函数。需要用到requests库。
首先，构造一个http的header，里面有浏览器和操作系统等信息。如果没有这个伪造的header，可能会被目标网站的WAF等防护设备识别为机器代码并干掉。
然后，用requests库的get方法获取url内容。如果http响应代码是200 ok，说明页面访问正常，将该函数返回值设置为文本形式的html代码内容。
如果响应代码不是200 ok，说明页面不能正常访问，将函数返回值设置为特殊字符串或代码。
第二步：解析器
解析器的作用是对采集器返回的html代码进行过滤筛选，提取需要的内容。
作为一个14年忠实用户，当然要用豆瓣举个栗子 _
我们计划爬取豆瓣排名TOP250电影的8个参数：排名、电影url链接、电影名称、导演、上映年份、国家、影片类型、评分。整理成字典并写入文本文件。
待爬取的页面如下，每个页面包括25部电影，共计10个页面。
在这里，必须要表扬豆瓣的前端工程师们，html标签排版非常工整具有层次，非常便于信息提取。
下面是“肖申克的救赎”所对应的html代码：（需要提取的8个参数用红线标注）
根据上面的html编写解析器函数，提取8个字段。该函数返回值是一个可迭代的序列。
我个人喜欢用re（正则表达式）提取内容。8个（.*?）分别对应需要提取的字段。
提取后的内容如下：
整理成完整的代码：（暂不考虑容错）
非常简洁，非常符合python简单、高效的特点。
Python学习资源及经验总结
如果你也喜欢编程，想通过学习Python转行、做副业或者提升工作效率，我也为大家整理了一份【最新全套Python学习资料】一定对你有用！
对于0基础小白入门：
如果你是零基础小白，想快速入门Python是可以考虑的！
1、学习时间相对较短，学习内容更全面更集中
2、可以找到适合自己的学习方案
这份资料包含：Python安装包+激活码、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等教程，带你从零开始系统性的学好Python！
点击免费领取《优快云大礼包》：
最新全套【Python入门到进阶资料 & 实战源码 & 安装工具】
https://mp.weixin.qq.com/s/9IuSexhanYZ1TMAF1MZIhw
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、Python课程视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、清华编程大佬出品《漫画看学Python》
用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。
五、Python实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
六、互联网企业面试真题
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
这份完整版的Python全套学习资料已经上传至优快云官方，朋友们如果需要可以点击下方链接费获取【保证100%免费】
点击免费领取《优快云大礼包》：
最新全套【Python入门到进阶资料 & 实战源码 & 安装工具】
以上全套资料已经为大家打包准备好了，希望对正在学习Python的你有所帮助！
如果你觉得这篇文章有帮助，可以点个赞呀~
我会坚持每天更新Python相关干货，分享自己的学习经验帮助想学习Python的朋友们少走弯路！
扫一扫
7229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
