Mac下安装pyspider报了Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/

最新推荐文章于 2023-10-16 22:15:00 发布

转载最新推荐文章于 2023-10-16 22:15:00 发布 · 3.2k 阅读

文章标签：

#pyspider

编程语言专栏收录该内容

13 篇文章

订阅专栏

本文提供了一种解决在安装pyspider过程中遇到的pycurl依赖问题的方法。通过卸载旧的pycurl，设置环境变量指向openssl，并重新编译安装pycurl，最后顺利安装pyspider。

复制以下代码到终端执行：

pip3 uninstall pycurl

export PYCURL_SSL_LIBRARY=openssl 

export LDFLAGS=-L/usr/local/opt/openssl/lib 

export CPPFLAGS=-I/usr/local/opt/openssl/include

pip3 install pycurl --compile --no-cache-dir

再执行pip3 install pyspider就OK了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

先验

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pip错误 Command "python setup.py egg_info" failed with error code 2

FREEDOM

04-06

3374

pip install --upgrade setuptools

Command "python setup.py egg_info" failed with error code 10

新博客地址http://www.cnblogs.com/millionsmultiplication/

05-29

7463

问题描述：按照教程我运行cmd.exe 执行 pipinstall pyspider 报错“Command "python setup.py egg_info" failed with error code 10”

参与评论您还未登录，请先登录后发表或查看评论

pip安装软件时出现Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build*的解决方案

最新发布

08-28

PySpider支持Python 2.7和Python 3.x版本，因此用户可以根据自己的情况选择合适的Python版本进行安装。安装Python之后，可以通过命令行工具安装PySpider。PySpider提供了pip包管理器，可以简化安装过程。用户只需在...

mac m1 python3.8环境启动pyspider解决的一些问题

HLSC1989的博客

11-27

828

mac m1 python3.8环境启动pyspider解决的一些问题

python3.7+安装pyspider报错解决方案.docx

10-26

### Python 3.7+ 安装 PySpider 报错解决方案 #### 环境配置在开始之前，我们先了解下本次问题解决所处的环境背景，这有助于更好地定位和解决问题。 - **操作系统**: macOS - **Python 版本**: 3.7 #### 遇到的...

解决 Command "python setup.py egg_info" failed ...问题的参考 :

qq_24044813的博客

03-10

3万+

“pip install unroll”: “python setup.py egg_info” failed with error code 1 解决 Command “python setup.py egg_info” failed with error code 1 问题在执行 pip install pyautgui 时遇到错误： Command “python setup.py egg...

Python 报错：Command "python setup.py egg_info" failed with error code 1

Eiffel的博客

04-10

4万+

最近做一个项目，需要搭建很多不同的python环境，于是我就用pip install装了很多包，但是装包的时候我遇到了很多次这个报错，比如这一次我在安装imgaug的时候也提示了这个错误。如图所示，红色部分提示Command "python setup.py egg_info" failed with error code 1 in C:\Users\ADMINI~1\AppData\Loca...

Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build-jw0f2yys/tornado/

qq_42629529的博客

06-12

2611

如果还是不能解决问题，可以尝试升级 pip 源码来看看。如果还是不能解决问题，请再提供具体错误信息，以便更好地理解问题的根本原因。开发库，并重新运行您的命令。发行版中，通过以下命令安装。这个错误消息通常是由于缺少。开发库文件而导致的。

Mac安装pycurl报错“ "python setup.py egg_info" failed with error code 1”

Mr_JWYang

07-19

1981

(env3) [MrYang:Desktop]$ python3 -m pip install pycurl Looking in indexes: http://mirrors.aliyun.com/pypi/simple/ Collecting pycurl Downloading http://mirrors.aliyun.com/pypi/packages/e8/e4/0dbb873...

【问题记录】Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build-*

m0_63898862的博客

04-24

9809

如何重装pip

错误 Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build*

qq_43406338的博客

08-20

1万+

安装Roboware Studio后，为了支持Python调试功能，需要先安装pylint 使用sudo python -m pip install pylint命令产生报错：Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-YIFBGL/pylint/ 图中可见：一、安装pylint报错： Command "python setup.py egg_info" failed with error c

Command “python setup.py egg_info“ failed

tangsiqi130的博客

07-11

320

Command "python setup.py egg_info" failed

error:Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/_r/fcrtlb8

孙琨SealSun

04-10

3446

Mark错误 'List of candidates:\n' + ('\n'.join(dll_path))) __builtin__.XGBoostLibraryNotFound: Cannot find XGBoost Libarary in the candicate path, did you install compilers and run build.sh in

Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build-*解决办法

kelly1250230225的博客

06-19

1万+

这个问题我找了很多博客看，都不清楚，什么升级pip等等，都不行，其实解决思路就是先卸载pip，再下安装包安装就可以了。参考博客感觉写得很好。直接卸载文件：然后到官网https://pypi.python.org/pypi/pip下载20.*版本的就行了如pip-20.3.3.tar.gz格式在下载的文件夹下解压：接着，在你解压的文件夹内，直接右键打开终端，输入：...

pyspider all --queue-maxsize=5000 # 增加任务队列容量 Traceback (most recent call last): File "<frozen runpy>", line 198, in _run_module_as_main File "<frozen runpy>", line 88, in _run_code File "C:\Users\longhang\AppData\Local\Programs\Python\Python313\Scripts\pyspider.exe\__main__.py", line 4, in <module> from pyspider.run import main File "C:\Users\longhang\AppData\Local\Programs\Python\Python313\Lib\site-packages\pyspider\run.py", line 231 async=True, get_object=False, no_input=False): ^^^^^ SyntaxError: invalid syntax 如何解决

05-07

<think>嗯，用户遇到了在Python 3.13环境下运行pyspider时出现的SyntaxError: invalid syntax错误，具体指向async=True这个参数。根据之前的引用内容，这个问题通常是由于Python版本过高，async成为关键字，而pyspider的旧代码没有及时更新导致的。现在用户使用的是Python 3.13，这比之前提到的3.5之后的版本更高，问题可能更复杂。首先，我需要确认用户提到的引用内容中的解决方案是否适用于Python 3.13。引用中提到的主要解决方法是替换async变量名为其他名称，比如shark。但Python 3.13可能引入了更多语法变化，导致更多的兼容性问题。另外，用户可能已经尝试过替换async，但问题仍然存在，或者可能有其他依赖库的版本不兼容。接下来，用户使用的Python 3.13是否支持pyspider？pyspider已经多年未更新，可能不支持最新的Python版本。这种情况下，可能需要更深入的修改，或者建议用户降级Python版本到3.7或更低，但用户可能不愿意这样做，因为3.13可能有其他依赖需求。此外，用户提到之前的解决方案需要替换多个文件中的async变量，包括run.py、tornado_fetcher.py和webui/app.py。但用户可能在替换过程中遗漏了某些文件，或者替换后的名称与其他部分代码冲突，导致新的错误。需要检查所有相关文件，确保替换一致，并且不涉及保留关键字。另外，引用中还提到了werkzeug的版本问题，需要降级到0.16.1或0.16.0。如果用户已经处理了async问题，但未处理werkzeug，可能仍然会遇到其他错误。需要确保这两个问题都得到解决。还有可能，在Python 3.13中，除了async之外，还有其他关键字或语法变化，导致更多的SyntaxError。例如，某些函数或库的API可能已经改变，需要进一步的代码调整。例如，asyncio模块在Python 3.7之后有较大变化，可能影响pyspider的运行。考虑到用户的环境是Python 3.13，可能建议用户使用更现代的替代框架，如scrapy或selenium，因为pyspider已经不再维护，兼容性问题会越来越多。如果用户坚持使用pyspider，可能需要更深入的代码修改，甚至fork项目进行维护。总结解决方案步骤：1. 替换所有相关文件中的async变量；2. 降级werkzeug到兼容版本；3. 检查其他可能的关键字冲突；4. 考虑降级Python版本或更换框架。</think>根据您使用的Python 3.13环境和历史问题分析，以下是针对性解决方案： ### 一、核心问题定位 `SyntaxError: invalid syntax` 的根源是Python 3.7+将`async`作为保留关键字，而pyspider源码中仍将其作为变量名使用。在Python 3.13中该问题依然存在且更严格[^2][^4]。 --- ### 二、分步解决方案 #### 步骤1：源码关键字替换通过全局搜索替换所有`async`参数名（注意保留`Async`类名）： ```python # 修改位置示例（共4个关键文件） 1. pyspider/run.py:231行 # 原代码 async=True → 改为 async_param=True 2. pyspider/fetcher/tornado_fetcher.py:52行 # 原代码 def __init__(self, async=True): → 改为 def __init__(self, async_param=True): 3. pyspider/webui/app.py:238行、311行 # 所有async参数均替换为async_param ``` *注意：需保持替换后变量名在调用链中的一致性* [^2][^4] #### 步骤2：强制降级依赖库 Python 3.13环境下需额外处理Werkzeug兼容问题： ```bash # 卸载冲突库 pip uninstall werkzeug wsgiDAV pycurl # 安装指定版本组合 pip install "werkzeug<1.0" "wsgidav<3.0" "pycurl==7.45.2" ``` #### 步骤3：验证环境配置创建测试脚本`test_pyspider.py`： ```python from pyspider.libs.base_handler import * class TestHandler(BaseHandler): def on_start(self): self.crawl('http://httpbin.org/get', callback=self.detail_page) def detail_page(self, response): return {"url": response.url} ``` 运行验证： ```bash pyspider all --phantomjs-proxy="127.0.0.1:25555" --debug ``` --- ### 三、替代方案建议若仍无法解决，建议考虑以下方案： 1. **容器化部署**（推荐） ```dockerfile FROM python:3.6-slim RUN pip install pyspider==0.3.10 \ && pip install werkzeug==0.16.1 EXPOSE 5000 CMD ["pyspider", "all"] ``` 2. **使用现代替代框架** ```bash # 安装Scrapy+Splash组合 pip install scrapy scrapy-splash ``` --- ### 四、技术原理说明 Python 3.4后引入`async/await`语法，使得原代码中`async=True`的变量命名与关键字冲突。该问题本质是语言规范演进与库更新脱节导致[^2][^4]。修改后变量名应保持参数传递逻辑不变： $$ f(x_{async}) \rightarrow f(x_{async\_param}) $$ ---