玖河长久

安装VIM编辑器： yum install -y vim* 开启VIM行号显示（系统根目录）： vim /etc/vimrc 第一个endif下面加入： set nu 保存退出 ----------------------------------------------------------------------------------------------------...

我们在做分布式爬虫的时候有些网站可能因为规则变更使得我们爬虫也要跟着变更规则，如果部署了很多的话更新规则就会是个头大的问题，慢慢去一个一个更新爬虫规则实在是太累了，所以我就想到了用xml来做规则，让爬虫去读取一个远程xml就可以了；我们后期维护的时候也只用维护这个xml文件即可。 我用的是scrapy-redis做的分布式 概述： 1、主要是通过request读取远程xml...