爬虫
关注
分享
扫一扫
文章平均质量分 95
疯狂哈丘
这个作者很懒，什么都没留下…
展开
-
虎扑步行街爬虫分析
最近学习scrapy，就拿虎扑练了下手，主要爬取虎扑步行街的帖子以及回帖的一些数据。scrapy的教程可以看一下我写的上一篇博客: python爬虫框架——Scrapy架构原理介绍 解析网页的时候还需要对xpath有所了解，也可以看一下我的这篇博客： xPath 用法总结整理一、爬虫功能目前主要就实现3个功能： 1. 爬取步行街主干道的帖子 2. 爬取对应帖子的回帖信息 ...原创 2018-06-23 11:03:23 · 8894 阅读 · 0 评论 -
python爬虫框架——Scrapy架构原理介绍
说起写爬虫，大多数第一时间想到的就是python了。python语法简洁明了，加上及其丰富好用的库，用它来写爬虫有天然的优势。之前学python的时候也用requests+lxml写过几个爬虫玩，但是都就爬取一些内容就没继续下去了，都没做成一个项目，中间python也荒废了好久。最近要学kafka，就打算爬点数据来实践实践。于是就学起scrapy来，总的来说，scrapy还是很容易上手的，也比...原创 2018-06-10 22:27:51 · 6632 阅读 · 4 评论