64位Ubuntu 安装scrapy遇到的问题

最新推荐文章于 2025-08-16 17:02:07 发布
转载 最新推荐文章于 2025-08-16 17:02:07 发布 · 106 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/nan86150/p/3997074.html
文章标签：

#python #爬虫

本文记录了在安装Python的scrapy框架过程中遇到的lxml模块错误，并提供了详细的解决方案，包括更新依赖包及使用pip升级lxml。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这两天准备开始学习Python爬虫，安装scrapy框架后出现
Traceback (most recent call last):
File "/usr/local/bin/scrapy", line 7, in
from scrapy.cmdline import execute
File "/usr/local/lib/python2.7/dist-packages/scrapy/init.py", line 56, in
from scrapy.spider import Spider
File "/usr/local/lib/python2.7/dist-packages/scrapy/spider.py", line 7, in
from scrapy.http import Request
File "/usr/local/lib/python2.7/dist-packages/scrapy/http/init.py", line 11, in
from scrapy.http.request.form import FormRequest
File "/usr/local/lib/python2.7/dist-packages/scrapy/http/request/form.py", line 9, in
import lxml.html
File "/usr/local/lib/python2.7/dist-packages/lxml-3.3.3-py2.7-linux-i686.egg/lxml/html/init.py", line 42, in
from lxml import etree
ImportError: /usr/local/lib/python2.7/dist-packages/lxml-3.3.3-py2.7-linux-i686.egg/lxml/etree.so: wrong ELF class: ELFCLASS32

发现lxml模块在64位下没有安装好，折腾了一下午，最后看到http://www.cnblogs.com/ifantastic/p/3830707.html这篇文章才给安装好。

先更新安装依赖包：
$sudo apt-get build-dep python-lxml

再重新用pip安装就可以了
$ sudo pip install lxml --upgrade

转载于:https://www.cnblogs.com/nan86150/p/3997074.html

【Scrapy】Scrapy教程3——Scrapy的安装
jayhgq的博客
02-17 1050
前面了解了什么是Scrapy和其工作原理，下面先开始安装Scrapy。
Ubuntu 18.04安装Scrapy步骤及各种报错总结
the best messi的博客
08-07 1096
文章目录前言Scrapy安装步骤报错总结1.raise ReadTimeoutError(self._pool, None, 'Read timed out.')2.Could not find a version that satisfies the requirement setuptools后记 前言 难道就我一个人总是安装一个库要整一天的嘛？还是学习崔老师的《python网络爬虫开发实战》这本书，今天安装的是目前非常流行的爬虫框架：Scrapy。还是一如既往的按照老师的安排运行各种命令，前面都还好，
scrapy软连接失效和pip软连接失效
weixin_34130269的博客
03-19 430
原来打算今天写一些文章的，准备开始着手写爬腾讯视频的问题，但是我突然用我的服务器建立scrapy的文章，当我 scrapy startproject tengxun_video 的时候突然给我出现这个 Traceback (most recent call last): File "/usr/bin/scrapy", line 7, in <module> from scr...
scrapy 环境搭建与试运行
低调的成长
11-09 2779
背景：最近在做php服务器的项目，但是内容对于一个产品起到的是最为重要的东西，那么对于内容的获取就变的非常重要，所有想通过爬虫的方式来获取内容，所以想到了使用scrapy来当作爬虫工具，但是苦逼的是，环境对于开发者来说永远都是那么的不顺。浪费了很多时间。这里记录一下，方便以后查看。 开工：其实官网介绍，安装scrapy非常简单。 官方教程：https://doc.scrapy.org/
scrapy 排错记录
Stiga Huang的专栏
04-10 2844
scrapy 排错记录， python sys.path 的影响
python升级引起的pip执行错误
热门推荐
陈小峰（iefreer）的专栏
10-18 8万+
centos5.x默认安装的python为2.4版本，但是部分软件需要2.5以上的python.所以我们需要升级Python，比如到2.7版本，步骤curl -O http://python.org/ftp/python/2.7/Python-2.7.tgz  tar xfz Python-2.7.tgz  cd Python-2.7  ./configure  make && make inst
python scrapy 使用时报错 cannot import name xmlrpc_client
风雨兼程
07-11 2864
python scrapy 使用时报错 cannot import name xmlrpc_client在使用时处出现下面错误： Traceback (most recent call last): File “/usr/local/bin/scrapy”, line 7, in from scrapy.cmdline import execute File “/Libra
JeffersonQin#gyrojeff.top#Ubuntu下安装Scrapy避坑1
07-25
引言因为最近在做的project nichijou需要写爬虫，遂准备学习一下Scrapy，但是安装中遇到了一些问题。解决下面是官方的安装文档：你可能同时需要安装
Scrapy框架的安装
m0_58310590的博客
04-22 1225
虚拟环境允许您不与已安装的 Python 冲突 系统包（可能会破坏您的一些系统工具和脚本）， 并且仍然正常安装带有（没有等）的软件包。构建 Scrapy 的依赖项需要 C 编译器的存在，并且 开发标头。出现此异常的原因是您的系统或虚拟环境 具有您的 Twisted 版本不支持的 pyOpenSSL 版本。此方法是解决上述macOS问题的解决方法，但它是一个整体 管理依赖关系的良好做法，可以补充第一种方法。请注意，有时这可能需要解决某些 Scrapy 的编译问题 依赖项取决于您的操作系统，因此请务必查看。
Python3安装Scrapy的方法步骤
09-21
2. **解决安装问题** (1) **检查Python版本**：打开命令提示符(CMD)，输入`python`，查看当前安装的Python版本。 (2) **下载预编译库**：访问[http://www.lfd.uci.edu/~gohlke/pythonlibs/]...
Scrapy中遇到的坑
夜游神
05-05 4382
看网上对Scrapy的评价挺高，想学习一下，中间肯定会遇到各种问题，单独开一篇来记录学习中遇到的坑吧。1.安装就遇到问题，醉了 网上找的安装方法，还是有问题,stackoverflow找到的解决方案Package libffi was not found in the pkg-config search path.解决方案 sudo apt-get install libffi-dev
OS X 10.11.5 Scrapy安装指南
1.02^365=1377.41
07-04 2568
今天终于在安装成功了scrapy，之前试过很多次都安装失败，系统重装之后也没有成功，在mac系统上的安装不像windows那么容易，今天再次试了一遍成功了。 我的系统：OS X 10.11.5 python：2.7.10安装pippip是python 的包管理器，按照这里的安装指南https://pip.pypa.io/en/stable/installing/，先下载get-pip.py,之
Python获取Google sheet中的内容
简言
08-06 1万+
google 提供了各种API供开发者使用，之前介绍了map api的简单用法，这里介绍下googlesheet的api简单用法。
python——scrapy安装成功，check项目成功，运行出现一下问题
悟空看八戒烤熟了没的专栏c)4Upqt4SeVk
07-12 1766
scrapy crawl dmoz 出现问题
PAT乙级_1080 MOOC期终成绩_Python_AC解法_含疑难点
最新发布
CongQianS1的博客
08-16 739
本文介绍了PAT乙级1080题"MOOC期终成绩"的Python解法。解题思路是：1) 读取三类成绩数据并存储到字典；2) 筛选编程成绩≥200分的学生；3) 按规则计算总评成绩并进行四舍五入；4) 对总评≥60分的学生按成绩降序、学号升序排序输出。文章特别指出测试点3的易错点在于四舍五入处理，当总评在[59.5,60)区间时应视为合格。解法采用字典存储成绩，集合管理学号，通过lambda表达式实现多条件排序，最终按要求格式化输出结果。
Scrapy 基础框架搭建教程：从环境配置到爬虫实现（附实例）
weixin_43883508的博客
08-14 1422
本文详细介绍了Scrapy爬虫框架的搭建流程，从环境配置到完整爬虫实现。主要内容包括：1）Python环境准备与Scrapy安装；2）项目结构创建与核心文件功能解析；3）通过图书爬虫实例演示数据提取与页面跳转；4）数据模型定义与JSON存储管道实现；5）关键配置参数与调试技巧。文章提供完整代码示例，帮助开发者30分钟内搭建可扩展的爬虫框架，并给出反爬处理、性能优化等实用建议，适合Python开发者快速上手网页数据采集。
关于Win系统使用venv创建和管理虚拟环境
qq_43449643的博客
08-15 401
venv配置虚拟环境
yolo安装
a1111111111ss的博客
08-15 574
我在cmd一直更新不了pip 一直说错误。我扭头去anaconda成功。
安装 Scrapy
03-25
<think>好的，用户想了解如何安装Scrapy框架，特别是Python环境配置方面的教程。首先，我需要回忆一下Scrapy的安装步骤和常见的依赖问题。根据用户提供的引用资料，安装Scrapy需要Python 3.6以上版本，并且可能遇到Twisted库的安装问题，尤其是在Python 3.7环境中。 首先，用户需要确保已经安装了Python和pip。引用[1]提到Python 3.6及以上版本和pip是必须的。接着，用户可能需要更新pip到最新版，引用[5]中提到了更新pip的命令，这有助于避免安装时的兼容性问题。 然后，安装Scrapy通常可以直接使用pip install scrapy，但用户可能会遇到Twisted安装失败的情况。引用[2]和[5]都指出Twisted在Python 3.7中可能需要特定版本的whl文件手动安装。这时候需要到Twisted的官方网站下载对应版本的whl文件，再通过pip安装。 此外，用户可能缺少一些系统依赖库，比如libxml2和libxslt，引用[3]提到了libxml2的安装，这可能需要通过系统包管理器来安装，例如在Ubuntu上使用apt-get安装相应的开发包。 还有，权限问题也是一个常见障碍，引用[5]建议使用--user选项或者在虚拟环境中安装，避免权限不足的错误。使用虚拟环境是一个好的做法，可以隔离项目依赖，避免系统范围的包冲突。 最后，测试安装是否成功，运行scrapy version命令，如果输出版本号说明安装正确。如果还有问题，可能需要检查错误日志，根据提示解决，比如缺少其他依赖库或者编译器工具链的问题。 总结起来，安装Scrapy的步骤包括：检查Python和pip版本，更新pip，安装系统依赖库，处理Twisted的手动安装（如果需要），使用虚拟环境，以及最后的验证测试。需要将这些步骤详细且清晰地呈现给用户，同时注意可能的常见问题及其解决方法，帮助用户顺利完成安装。</think>### Scrapy框架安装教程及Python环境配置 #### 一、环境准备 1. **Python版本要求**：确保已安装$Python\ 3.6$及以上版本，可通过终端输入`python --version`验证[^1]。 2. **pip包管理工具**：检查pip是否安装并更新至最新版本： ```bash pip install --upgrade pip ``` 若权限不足，可添加`--user`参数[^5]。 #### 二、安装系统依赖库（Linux/Ubuntu示例） 部分依赖库需提前安装： ```bash sudo apt-get install python3-dev libxml2-dev libxslt1-dev libssl-dev ``` Windows用户需安装对应编译工具链，推荐使用Microsoft Visual C++ Build Tools[^3]。 #### 三、安装Scrapy 1. **标准安装**（推荐在虚拟环境中操作）： ```bash # 创建虚拟环境 python -m venv scrapy_env source scrapy_env/bin/activate # Linux/macOS scrapy_env\Scripts\activate # Windows # 安装Scrapy pip install scrapy ``` 2. **处理Twisted安装问题**（Python 3.7用户）： - 访问[Twisted官方仓库](https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)下载对应版本的`.whl`文件（如$Twisted‑20.3.0‑cp37‑cp37m‑win\_amd64.whl$）。 - 手动安装： ```bash pip install Twisted‑20.3.0‑cp37‑cp37m‑win_amd64.whl pip install scrapy ``` [^2] #### 四、验证安装 ```bash scrapy version ``` 若输出版本号（如$Scrapy\ 2.8.0$），则安装成功。 #### 五、常见问题解决 - **错误提示“Command 'python setup.py egg_info' failed”**：通常由pip版本过旧或依赖缺失引起，需更新pip并检查系统依赖库。 - **网络问题导致下载失败**：可使用国内镜像源： ```bash pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值