scrapy
关注
分享
扫一扫
defending
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy
中文文档 http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化转载 2017-11-13 20:03:50 · 2431 阅读 · 0 评论 -
scrapy(三)
示例：自动登陆抽屉并点赞# -*- coding: utf-8 -*-import scrapyfrom scrapy.selector import HtmlXPathSelectorfrom scrapy.http.request import Requestfrom scrapy.http.cookies import CookieJarfrom scra转载 2017-11-14 19:18:11 · 384 阅读 · 0 评论 -
scrapy-redis
scrapy-redis使用以及剖析scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能：scheduler - 调度器dupefilter - URL去重规则（被调度器使用）pipeline - 数据持久化scrapy-redis组件1. URL去重转载 2017-11-15 19:36:44 · 548 阅读 · 0 评论