爬虫
关注
分享
扫一扫
文章平均质量分 73
TyrantTG
https://github.com/taogeT
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
直播网站LiveTV Mining，爬虫抓取数据 python3+scrapy
LiveTV Mining介绍此站点是为了实现爬虫、数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计，后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。站点是在个人兴趣指引下用业余时间写的项目，可能技术还欠缺火候。使用中有问题或更新建议，欢迎直接提issue Github 反馈给我。历程 2016-04-06 域名 http://www.zhengwentao.com 申请完毕原创 2016-04-07 10:41:24 · 4494 阅读 · 0 评论 -
直播项目阶段性总结-爬虫
爬虫总结 项目展示的数据都是由爬虫爬取的，在使用过程中出现了很多没有注意和意料之外的一些问题，特此总结一下提醒自己。 历程 爬虫开发的技术路线经过了好几个阶段，将一一总结： 原生写法urllib Requests + Gevent + Celery Scrapy + Redis 原生写法urllib 这个阶段是刚开始学习爬虫，对如何构造和理解爬虫以及相关库的用法都不熟悉...原创 2018-05-20 10:33:16 · 595 阅读 · 0 评论