sinat_34704593的博客

#启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS：这玩意儿2.X的可以用。3.X的不...

首先安装 pip install scrapyd来进行管理scrapy项目然后安装scrapyd_client来进行部署scrapy项目至scrapyd中在scrapy项目中修改scrapy.cfg文件[deploy]url = http://localhost:6800/addversion.json然后cmd启动scrapyd接着进入项目内部进行部署scrapyd-de...

pip install setuptoolspip install lxmlpip install pyOpensslpip install scrapy 在执行安装scrapy的时候报如下错误于是离线安装，win32位的这里安装，win64位的这里安装，执行pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl然后安装pip...

使用命令scrapy startproject test1来创建第一个scrapy工程cd test1然后使用scrapy genspider -l 查看所有spider的模板然后选择basic 模板创建一个spider: scrapy genspider -t basic first www.whu.edu.cn然后进入spider目录编辑first.py文件，重写parse方法...

当前环境是win7 x32:在开始菜单中jupyter快捷方式右键---属性---目标位置: 将路径修改为自己的workspace即可。

a: 代表在前一行插入b: 代表在后一行插入dd:代表删除当前行ctrl+enter:运行shift+enter:运行并移至下一行，如果下一行不存在，则自动创建下一行且聚焦alt+enter:运行并插入一行且聚焦tab:自动补全shift+tab:查看方法...

import numpy as npimport matplotlib.pyplot as pltimg = plt.imread("D:/用户目录/我的图片/timg27.jpg")img2 = img - 230plt.imshow(img2) 

arr = np.array(list('abcdefg'))arr = np.ones(shape=(100,100,3), dtype=int)  其中：str>float>intarr = np.zeros((3,4))arr = np.full(shape=(2,2), fill_value=5)arr1 = np.full_like(a=arr, fill_valu...