这两天手动写了爬虫抓wooyun的漏洞信息,速度很慢,然后就打算看看scrapy的东西。
看的文档是,http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html,scrapy入门教程。结果遇上一个问题:
我的python版本是python 3.4.1,而教程里的python版本是python 2.7安装pip时发现python setup.py install会出问题,总是提示找不到文件。
所以参考了网上这里的解决方案,
http://microacup.github.io/python/2013/05/08/pip-install/
感谢原作者!而很多方法安装pip还是使用所以采用了别的方案。
解决方法:
1 下载并安装distribute的0.6.49,我安装0.7.3时总出错,不知道为什么,汗。
https://pypi.python.org/pypi/distribute#downloads
安装:cmd切换到解压后的目录比方我这里是d:\yingyongruanjian\easy_install_pip\distribute-0.6.49直接python setup.py install
2 单击“开始”菜单,在“计算机”上右键一下,点击“属性”。单击弹出的页面左侧的“高级系统设置”,再次点击弹出界面右下角的“环境变量”,编辑path变量,我这里的python安装目录是D:\yingyuruanjian\py