Python爬虫开源项目代码案例汇总

python自学网www.pythonzxw.com

给大家整理了23个Python爬虫项目，所有链接指向GitHub。

1、WechatSogou – 微信公众号爬虫

基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。

github地址：

https://github.com/Chyroc/WechatSogou

2、DouBanSpider – 豆瓣读书爬虫

可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；

可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。

github地址：

https://github.com/lanbing510/DouBanSpider

3、zhihu_spider – 知乎爬虫

此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo

github地址：

https://github.com/LiuRoy/zhihu_spider

4、bilibili-user – Bilibili用户爬虫

总数据数：20119918，抓取字段：用户id，昵称，性别，头像，等级，经验值，粉丝数，生日，地址，注册时间，签名，等级与经验值等。抓取之后生成B站用户数据报告。<