python3.7安装pyspider的坑

最新推荐文章于 2022-10-10 17:14:40 发布

bakerp

最新推荐文章于 2022-10-10 17:14:40 发布

阅读量1.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：爬虫开发文章标签： python3.7安装pyspider的坑

本文链接：https://blog.youkuaiyun.com/bakerp/article/details/93556164

在Python3.7环境下安装pyspider时遇到问题，文中博主综合了简书和优快云上的方法，发现部分教程中的解决方案并不完全适用。文章指出需要修改pyspider的四个文件：run.py、tornado_fetcher.py、app.py和webdav.py。由于async在Python3.7中成为关键字，需要找到并替换所有async。博主建议将async替换为async1，并提供了修复后的文件下载链接，帮助读者快速解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python3.7安装pyspider的坑

参考简书：https://www.jianshu.com/p/b8abb93ca5e2
参考优快云：https://blog.youkuaiyun.com/wyd117/article/details/84932858
感觉都说可以，但是试验的结果都不尽如人意，我把两者的方法综合了一下，
实际验证可行。
好了，废话不多说，需要更改的文件有4个：pyspider>run.py，fetcher>tornado_fetcher.py
webui>app.py，webui>webdav.py。
1.前面三个文件，两篇文章的作者都说：async在python3.7中是关键字，
所以运行错误，ctrl+f查找async，把所有的async替换为shark或者将async替换成_async，这一点语焉不详。
实际情况是有些地方要换，有些地方不要换，而且_async这种写法在类里面的用法比较复杂，不推荐这种改法，
本人倾向于将async替换成async1，由于要换的地方有多处，有些地方又不用换，为避免混淆，故直接上文件，
下载下来后直接替换对应文件路径的同名文件即可使用。资源在我的个人资源里面下载即可（审核完就可以了）。
python3.7安装pyspider修复文件，下载下来是一个压缩包，包含所需的四个文件。有耐心的同学可以仔细查找
哪些改了，哪些没改。下载地址：