dcbaabcd111的专栏

在看scrapy时，碰到不知道用法的函数一起记录下来： @property ，是表示对函数可以采用self._meta 的方式，将函数名当做属性  x = property(getx, setx, delx, "I'm the 'x' property.") property（），如果要使用property函数，首先定义class的时候必须是object的子类。通过propert

Scrapy-CrawlSpider爬虫组件 转自：http://blog.youkuaiyun.com/LYNDLL/article/details/5082514          Scrapy可能对很多人都是一个比较陌生的开源爬虫库,网上的资料也比较少，我也是最近才发现并决定学习使用的。 Scrapy整体框架实现上与Django框架原理很相似，两者都强调松耦合，高度的抽象使编程简单、简洁化

Django是web框架，python写的，搭配Scrapy，可以实现抓取页面 可以参考这种配置： linux+mysql+redis+django+scrapy+webkit，其中scrapy+webkit作为抓取端，redis作为链接库存储，mysql作为网页信息存储，django作为爬虫管理界面，快速实现分布式抓取系统的原型。 http://www.searchtb.com/2

python读文件 file = open('E:\\test\\tr2.txt') while 1: line = file.readline() #读取每一行 if not line: break print line file.close() 更简单的： fh = open('c:\\autoexec.bat') for line in fh

import linecache file=open('3_2.txt','r') linecount=len(file.readlines()) linecache.getline('3_2.txt',linecount)   这样做的过程中发现一个问题，因为我的脚本是循环读取3_2.txt文件，当3_2.txt发生变化时，读到的内容不变化，看了一下linecache应该是缓存的问题，