scrapy安装和环境准备

最新推荐文章于 2024-04-03 14:20:17 发布

原创最新推荐文章于 2024-04-03 14:20:17 发布 · 626 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #虚拟环境 #scrapy

爬虫专栏收录该内容

3 篇文章

订阅专栏

版本选择

https://github.com/rmax/scrapy-redis#requirements
由于分布式爬虫用到了scrapy-redis，它对于版本的要求如下（当然 随着更新会支持更新版本的python）
Requirements
Python 2.7, 3.4 or 3.5
Redis >= 2.8
Scrapy >= 1.1
redis-py >= 2.10

由于自己需要同时用到多个版本python，方便起见，搭建虚拟环境。有时候从github克隆别人代码，在自己本地环境下运行，也需要用到虚拟环境。非生产环境，只是自己在本机上跑，所以针对的是windows版本。

访问国外网站进行python3.5下载

下载地址 : https://www.python.org/downloads/windows/

创建虚拟环境

pip install virtualenv

虚拟环境管理包:

pip install virtualenvwrapper-win  每次要找到虚拟环境的路径很烦，还要记住，所以利用虚拟环境管理包

若安装成功但使用workon命令失败后面再查下原因

采用pip install virtualenvwrapper，运行workon 会提示workon不是内部命令……,在后面加-win;

或者要拷贝scripts下对应的virtualenvwrapper相关.bat命令到系统设置的python环境变量scripts目录下

安装python3.5 ，2.7（略）

给2.7，3.5分别创建虚拟环境

修改默认虚拟环境的路径环境变量->系统变量: WORK_HOME 路径xxx

创建python2的虚拟环境

mkvirtualenv --python=D:\\programs\\anaconda2\\python.exe py2scrapy

创建python3的虚拟环境

mkvirtualenv --python=D:\\programs\\python3\\python.exe py3scrapy

查看安装的虚拟环境
```
workon
```

进入虚拟环境

workon py2scrapy   或者  workon py3scrapy

没有使用虚拟环境管理包可参考以下启动方式

使用虚拟环境下指定路径使用python3启动 :virtualenv -p D:\\Program\anaconda\\python.exe D:\\Programs\\env\\scrapy3
(路径中不要包含空格等 容易出现错误 如：个人被坑D:\Program Files (x86),一直以为它没问题 结果就是路径无法识别)

进入虚拟环境

workon 查看本机所有虚拟环境
workon py3scrapy 进入虚拟环境

安装scrapy:

(article_spider) E:\spider\article_spider\Scripts>   pip install Scrapy          (国内镜像安装地址:pip install -i https://pypi.douban.com/simple Scrapy)

查看版本:scrapy -h
        Scrapy 1.5.0 - no active project

安装若出现错误:

    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual
C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方式:

下载

https://www.lfd.uci.edu/~gohlke/pythonlibs/

下载版本:

Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl

进入虚拟环境安装:

(article_spider) E:\spider\article_spider\Scripts>pip install Twisted-17.9.0-cp3
6-cp36m-win_amd64.whl
Processing e:\spider\article_spider\scripts\twisted-17.9.0-cp36-cp36m-win_amd64.
whl

安装后再安装scrapy即可。