Win10 + python3.6 安装pyspider

安装phantomjs

下载地址：https://phantomjs.org/download.html
下载的文件解压缩之后，bin文件夹下，找到phantomjs.exe，将其复制到python的scripts文件夹下（或为其配置环境变量路径），即为安装。

安装redis

windows系统中安装redis
下载地址：https://github.com/microsoftarchive/redis/releases
下载版本：3.2.100
自行安装即可。

安装redis-py

python中安装redis库

pip3 install redis

安装pycurl

需手动下载，根据python版本下载对应版本，我的是python3.6的32位。
据说7.44.1版本不稳定，因此遵循前辈们的7.43.0版本
下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl
我下载的是：pycurl‑7.43.0.4‑cp36‑cp36m‑win32.whl
随后安装：

pip3 install D:\安装程序\Python\pycurl-7.43.0.4-cp36-cp36m-win32.whl

安装pysider

pip3 install pyspider

相关错误

基本和前辈们遇到的问题一样：

错误1：SyntaxError: invalid syntax

问题：

async=True, get_object=False, no_input=False):
        ^
SyntaxError: invalid syntax

办法：
将pyspider文件夹下的相关代码修改：
我的路径为：
C:\Users\user_name\AppData\Local\Programs\Python\Python36-32\Lib\site-packages/pyspider/run.py
C:\Users\user_name\AppData\Local\Programs\Python\Python36-32\Lib\site-packages/pyspider/fetcher/tornado_fetcher.py
C:\Users\user_name\AppData\Local\Programs\Python\Python36-32\Lib\site-packages/pyspider/webui/app.py
可以用记事本打开该文件，然后ctrl+f查找async，再用flask替换所有的async，不要替换Async，最后保存即可

错误2：werkzeug 版本太高

问题：

.ImportError: cannot import name 'DispatcherMiddleware' from 'werkzeug.wsgi' (/usr/local/lib/python3.8/dist-packages/werkzeug/wsgi.py

办法：
降级werkzeug 版本
先卸载高版本：

pip3 uninstall werkzeug

再安装低版本：

pip3 install werkzeug==0.16.1

错误3：flask版本太高

问题：

ImportError: cannot import name 'ContextVar' from 'werkzeug.local' (/usr/local/lib/python3.8/dist-packages/werkzeug/local.py

办法：
降级flask版本
先卸载高版本：

pip3 uninstall flask

再安装低版本：

pip3 install flask==1.0

错误4：wsgidav 版本太高

问题：

TypeError: Can't instantiate abstract class ScriptProvider with abstract methods get_resource_inst

办法：
降级wsgidav版本
先卸载高版本：

pip3 uninstall wsgidav

再安装低版本：

pip3 install wsgidav==2.4.1

错误5：pyspider all无法全部启动

问题：
pyspider all之后只启动了2行：

phantomjs fecther running on port 25555
[I 180629 07:08:29 result_worker:49] result_worker starting…

办法：
在windows系统服务中重启redis，再执行pyspider all

结束

祝好运！