zhourong1992的博客

UUID用法

Item Pipeline当Item在Spider中被收集后，它会被传到Item Pipline，一些组件会按照一定的顺序执行对Item的处理。每个item pipeline组件是实现了简单方法的Python类。他们接受到Item并通过它执行一些行为，同时也决定此item是否继续通过pipeline，或是被丢弃而不再进行处理。以下是item pipline的一些典型应用：清理HTML数据验证爬取的

转载自 http://zhou123.blog.51cto.com/4355617/1312791python执行shell命令的四种方法：1、os模块中的os.system()这个函数来执行shell命令注：这个方法得不到shell命令的输出2、popen()#这个方法能到的命令执行后的结果是一个字符串,要自行处理才能得到想要的数据3、commands模块可以

requirements.txt文件，里面记录了当前程序的所有依赖包及其精确版本号，其作用是用来另一台PC上重新构建项目所需要的运行环境依赖。pip生成requirements.txtpip freeze > ./requirements.txt安装相关的依赖包pip install -r path/requirements.txtpipreqs使用pipreqs需要安装：pip install p

1xlrd xlrd用于在Excel中读写数据1、打开Excel工作簿data=xlrf.open_workbook('data.xlsx')2、查看工作簿里所有sheet名称data.sheet_names()3、选择一个工作表（通过索引或名称）#获取第一个工作表table=data.sheets()[0]#通过索引获取第一个工作表table=data.sheet_by_index(0)

open/文件操作f=open('/tmp/hello','w')#open(路径+文件名，读写模式)#读写模式：r只读，r+读写，w新建（会覆盖原有文件），a追加，b二进制文件.常用模式：‘rb’,'wb','r+b'等读写模式的类型有：rU 或 Ua 以读方式打开, 同时提供通用换行符支持 (PEP 278)w     以写方式打开，a     以追

Scrapy shellScrapy shell是一个交互终端在未启动spider的情况下尝试及调试您的爬取代码。 其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python终端，在上面测试任何的Python代码。该终端是用来测试XPath或CSS表达式，查看他们的工作方式及从爬取的网页中提取的数据。 在编写您的spider时，该终端提供了交互性测试您的表达式代码的功能，免去了每次修改后运