
工具&框架探索
文章平均质量分 80
young-hz
人生好比一场70年代的拳击比赛,充满了躲闪与出拳,如果足够幸运,只需一次机会一个重拳而已。但首要条件是,你必须顽强地站着,挺住意味着一切。
展开
-
redis研究笔记
一. redisRedis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes http原创 2014-07-24 08:07:58 · 4785 阅读 · 0 评论 -
readthedocs、github 、sphinx
查资料啊,查资料。转载 2014-06-13 19:53:24 · 6505 阅读 · 0 评论 -
scrapy-redis源码分析
原创文章,链接:(I) connection.py负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用,总之涉及到redis存取的都要使用到这个模块。(II) dupefilter.py负责执行requst的去重,实现的很有技巧性,使用redis的set数据结构。但是注意scheduler并不使用其中用于在这个模块中实现的dupe原创 2014-07-28 11:02:33 · 12419 阅读 · 9 评论 -
FLTK
简介编辑FLTK (Fast Light Tool Kit 发音为fulltick) 是一种使用C++开发的GUI工具包,它可以应用于Unix,Linux,MS-Windows95/98/NT/2000和MacOS操作系统平台,相 对于其它的许多图形接口开发工具包(如MFC、GTK、QT等),它具有体积很小、速度比较快,且有着更好的移植性。[1]FLTK,如同其名字所表达的:The转载 2014-01-20 09:04:05 · 4207 阅读 · 0 评论 -
scrapy-redis实现爬虫分布式爬取分析与实现
一 scrapy-redis实现分布式爬取分析所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository(链接:)已经做了翻译(README.rst)。在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来原创 2014-07-24 20:21:19 · 34944 阅读 · 5 评论 -
升级scrapy-redis代码,使与更新版本scrapy兼容
scrapy-redis的安装要求是scrapy版本高于0.14,是原创 2014-07-24 16:59:34 · 10379 阅读 · 2 评论