从 pip install pyspider 到 运行pyspider 问题

环境

• Python 3.7.6
• windows10 系统

1. pip install pyspider

• 后面需要用到模块 pycurl
• 没有的 pip install pycurl
• 这一步能直接安装最好
• 如果安装失败 点击链接 下载回来安装

2. 运行 pyspider

• 1. 第一个坑: async 关键字错误

• 解决办法

• 找到 python 路径下的 Lib\site-packages\pyspider 路径

• run.py

• fetcher\tornado_fetcher.py

• webui\app.py

• 把上述文件 的 async 替换成 其他变量名

• 2. 第二坑 :‘Curlasync_HTTPClient’ 包导入错误

• 解决办法

• 把 报错文件 的 ‘Curlasync_HTTPClient 替换成 CurlAsyncHTTPClient

• 3.第三坑:‘Simpleasync_HTTPClient’ 包导入错误

• 和上面一样Simpleasync_HTTPClient替换成 SimpleAsyncHTTPClient

• 4.第四坑:一直卡在 result_worker starting…

• 解决办法 : 用 管理员权限运行

• 再不行 关闭防火墙 或者 配置防火墙的规则

运行: pyspider
访问: localhost:5000

5. 写 爬虫 跳转到下一个响应函数 的时候 报

HTTP 599: SSL certificate problem: unable to get local issuer certificate 错误

• 解决办法
• self.crawl() 函数 添加参数 validate_cert=False