linux下安装scrapy遇到的问题--Is libxml2 installed?解决方法

最新推荐文章于 2023-09-21 08:53:23 发布
最新推荐文章于 2023-09-21 08:53:23 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ljhihi/article/details/89855538
在腾讯云CentOS7环境下使用Python3安装Scrapy时遇到错误，通过安装lxml库确认问题可能出在lxml上。尝试单独安装lxml后，错误依旧。通过查阅资料，发现需要安装`python3-dev libxslt-devel libxml2-devel`三个依赖，安装完成后问题解决。最后进行了软链接设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当前环境：tencent 云主机centos7,python3

按照scrapy文档，直接pip3 install scrapy

error: command 'gcc' failed with exit status 1
*********************************************************************************
Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
*********************************************************************************

大致猜测一下估计是lxml这个库出现了问题，于是，单独安装一下lxml

pip3 install lxml,

果然出现了一模一样的错误。

    building 'lxml.etree' extension
    creating build/temp.linux-x86_64-3.5
    creating build/temp.linux-x86_64-3.5/src
    creating build/temp.linux-x86_64-3.5/src/lxml
    gcc -pthread -Wno-unused-result -Wsign-compare -Wunreachable-code -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -fPIC -DCYTHON_CLINE_IN_TRACEBACK=0 -Isrc -Isrc/lxml/includes -I/usr/local/python3/include/python3.5m -c src/lxml/etree.c -o build/temp.linux-x86_64-3.5/src/lxml/etree.o -w
    In file included from src/lxml/etree.c:687:0:
    src/lxml/includes/etree_defs.h:14:31: fatal error: libxml/xmlversion.h: No such file or directory
     #include "libxml/xmlversion.h"
                                   ^
    compilation terminated.
    Compile failed: command 'gcc' failed with exit status 1
    creating tmp
    cc -I/usr/include/libxml2 -c /tmp/xmlXPathInit3hlqtf37.c -o tmp/xmlXPathInit3hlqtf37.o
    /tmp/xmlXPathInit3hlqtf37.c:1:26: fatal error: libxml/xpath.h: No such file or directory
     #include "libxml/xpath.h"
                              ^
    compilation terminated.
    error: command 'gcc' failed with exit status 1
    *********************************************************************************
    Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
    *********************************************************************************

 

参阅了很多人的答案后，发现解决办法都是要安装依赖，具体要安装哪些呢，我也确定呀，输出文件里也没找到线索，干脆搜集起来，一个一个安装，发现把这3个安装好后问题就解决了，python3-dev libxslt-devel libxml2-devel 

yum install python3-dev libxslt-devel libxml2-devel 

 

[root@VM_0_9_centos ~]# pip3 install scrapy
Collecting scrapy
  Downloading http://mirrors.tencentyun.com/pypi/packages/3e/45/414e87ac8209d537c91575538c5307c20217a6943f555e0ee39f6db4bb0f/Scrapy-1.6.0-py2.py3-none-any.whl (231kB)
    100% |████████████████████████████████| 233kB 1.4MB/s 
Collecting parsel>=1.5 (from scrapy)
  Downloading http://mirrors.tencentyun.com/pypi/packages/96/69/d1d5dba5e4fecd41ffd71345863ed36a45975812c06ba77798fc15db6a64/parsel-1.5.1-py2.py3-none-any.whl
Requirement already satisfied (use --upgrade to upgrade): PyDispatcher>=2.0.5 in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): pyOpenSSL in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): cssselect>=0.9 in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): Twisted>=13.1.0 in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): six>=1.5.2 in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): queuelib in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): service-identity in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): w3lib>=1.17.0 in /usr/local/python3/lib/python3.5/site-packages (from scrapy)
Requirement already satisfied (use --upgrade to upgrade): cryptography>=2.3 in /usr/local/python3/lib/python3.5/site-packages (from pyOpenSSL->scrapy)
Requirement already satisfied (use --upgrade to upgrade): zope.interface>=4.4.2 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): constantly>=15.1 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): incremental>=16.10.1 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): Automat>=0.3.0 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): hyperlink>=17.1.1 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): PyHamcrest>=1.9.0 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): attrs>=17.4.0 in /usr/local/python3/lib/python3.5/site-packages (from Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): pyasn1-modules in /usr/local/python3/lib/python3.5/site-packages (from service-identity->scrapy)
Requirement already satisfied (use --upgrade to upgrade): pyasn1 in /usr/local/python3/lib/python3.5/site-packages (from service-identity->scrapy)
Requirement already satisfied (use --upgrade to upgrade): asn1crypto>=0.21.0 in /usr/local/python3/lib/python3.5/site-packages (from cryptography>=2.3->pyOpenSSL->scrapy)
Requirement already satisfied (use --upgrade to upgrade): cffi!=1.11.3,>=1.8 in /usr/local/python3/lib/python3.5/site-packages (from cryptography>=2.3->pyOpenSSL->scrapy)
Requirement already satisfied (use --upgrade to upgrade): setuptools in /usr/local/python3/lib/python3.5/site-packages (from zope.interface>=4.4.2->Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): idna>=2.5 in /usr/local/python3/lib/python3.5/site-packages (from hyperlink>=17.1.1->Twisted>=13.1.0->scrapy)
Requirement already satisfied (use --upgrade to upgrade): pycparser in /usr/local/python3/lib/python3.5/site-packages (from cffi!=1.11.3,>=1.8->cryptography>=2.3->pyOpenSSL->scrapy)
Installing collected packages: parsel, scrapy
Successfully installed parsel-1.5.1 scrapy-1.6.0

建立软链接

ln -s /usr/local/python3/bin/scrapy   /usr/bin/scrapy

前面的是python安装地址

C的xml编程-libxml2
河边钓鱼
04-15 2099
<br />  这里主要讲述libxml2在linux下的使用。<br />（以下内容除了linux下的安装步骤是自己写的，其余均出自<br />http://www.blogjava.net/wxb_nudt/archive/2007/11/28/161340.html<br />，由于该篇文章讲解的非常周详，我也没必要重写一遍了。如果该篇文章早出些时候，早期研发我也不会走非常多弯路了。虽然在该篇文章出现之前我已对libxml2较熟悉了并研发完毕，但为了备忘，目前将该篇文章作为收藏之用。在此再次感谢这篇文
lxml安装问题：Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
chenxy_bwave的专栏
11-03 6745
python安装lxml的问题的解决过程，供参考
【Python爬虫】安装 pyQuery 遇到的坑 Could not find function xmlCheckVersion in library libxml2. Is libxml2 ins
会飞的小蜗
12-30 1854
windows 64位操作系统下，用 Python 抓取网页，并用 pyQuery 解析网页 pyQuery是jQuery在python中的实现，能够以jQuery的语法来操作解析HTML文档，十分方便。使用前需要安装，easy_install pyquery即可，或者Ubuntu下 详情参考： http://blog.youkuaiyun.com/zhaoyl03/article/details/863...
解决使用pip安装lxml包报错问题Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
xinhongjun12的博客
05-22 9919
C:\Users\DALL\AppData\Local\Temp\xmlXPathInit_0nqpp85.c(1): fatal error C1083: 无法打开包括文件: “libxml/xpath.h”: No such file or directory error: command 'C:\\Program Files (x86)\\Microsoft Visual Studi...
Python爬虫】安装 pyQuery 遇到的坑 Could not find function xmlCheckVersion in library libxml2. Is libxml2 inst
singebogo的博客
05-28 1113
http://www.cnblogs.com/jhli/p/6217123.html windows 64位操作系统下，用 Python 抓取网页，并用 pyQuery 解析网页 pyQuery是jQuery在python中的实现，能够以jQuery的语法来操作解析HTML文档，十分方便。使用前需要安装，easy_install pyquery即可，或者Ubuntu下详情参考：ht
安装Scrapy失败显示:DtTt3-docal(remp\XmCAPathinit3rjp_3du.obj xmlXPathInit3rjp_3du.c \2\AppData\Local\ C:\Users\2\AppData\Local\Temp\xmlXPathInit3rjp_3du.c(1):fatalerrorC1083:无法打开包括文件：" such file or directory ***************************************************************************** Could not find function xmlXPathInit in library libxml2. Is libxml2 installed? Is your C compiler installed and configured correctly? ****************************************************************************** error: command 'C:\\backl\UC\Tools\\MSVC\\14.43.34888\\bin\\Hostx86]\x86\cl.exe'failed with ex [end of output] 浦 note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for lxml 隐 Failed to build lxml ERROR: Failed to build installable wheels for some pyproject.tonl based projocts (lxol) Wi C: \Users\2> 序列 体验 Windows功能验1000.2610066.0 Microsoft服务协议 Microsoft许款
最新发布
04-26
好的，我现在需要帮助用户解决在Windows上安装Scrapy时遇到的libxml2未找到或C编译器配置错误的问题。根据用户提供的引用和之前的对话，我得先理清可能的原因，并给出相应的解决方案。 首先，用户提到Scrapy推荐...
kali 安装 scrapy
wwwhenry的博客
11-27 1439
首先更新kali源为国内源。 使用pip install scrapy 会报sslerror 错误，百度后尝试了几个解决方案无效。 下载scrapy源码编译安装，python3 setup.py install 仍然会报sslerror错误如下： Installed /usr/local/lib/python3.7/dist-packages/Scrapy-1.8.0-py3.7.egg Proc...
centos 下安装scrapy过程及遇到的问题
QZC295919009的专栏
01-04 2085
问题： 1. centos6.6下自带安装的是python2.6.6（yum使用不了python2.7），而我们使用scrapy需要使用的是python2.7，因此会有一些麻烦，幸运的是在python2.6.6和python2.7是可以共存的。 vim  /usr/bin/scarpy 去修改首行的内容，改为python2.7的路径（我的是/usr/local/bin/Python2.7），或
linux redhat 6.4 下安装Scrapy 1.0
ClearRiver 's Style
04-29 689
redhat 6.4 下安装Scrapy Scrapy是一个开源的机遇twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。 安装环境:   redhat 6.4 python2.7.3   安装步骤: 1.下载python2.7  http://www.python.org/ftp/python/2.7.3/Pyt
树莓派安装scrapy环境
lvyforever的专栏
06-23 1714
首先系统选择官方带桌面带推荐软件版本，用这个版本的原因是不用自己挂载硬盘，另外系统自带python2,python3 我们的目标是使用pip成功安装上scrapy，经多次尝试，可能 遇到如下问题，并带解决方式 1. 使用pip install时出现报错TypeError: unsupported operand type(s) for -=: ‘Retry’ and ‘int’的解决办法 ...
在Linux系统上安装Python的Scrapy框架的教程
09-15
主要介绍了在Linux系统上安装Python的Scrapy框架的教程,Scrapy是著名的专门针对搜索引擎的爬虫制作而研发的Python框架,需要的朋友可以参考下
linux 安装scrapy
iteye_16188的博客
09-07 159
由于scrapy对python3支持不是很好，所以使用python2.7 [color=blue][quote]apt-get install python ls cd /tmp ls wget https://bootstrap.pypa.io/get-pip.py apt-get install wget wget https://bootstrap.pypa.io/get-...
linux下安装scrapy
Coder
09-21 2539
scrapy的网站：http://scrapy.org/ 简单的来说，scrapy是python开发的一个快速,高层次的屏幕抓取和web抓取框架。 按照官方文档，只是需要easy_install Scrapy即可，但是安装的时候遇到了lxml的编译错误，只好自己解决错误。 我的安装过程： 1. 首先确定机器上有easy_install。 2. 安装lxml：（1）安装libxml2；
在Linux环境下安装Scrapy框架
houqinzhi的专栏
08-12 553
需要安装的依赖： 1.Python 2.setuptools 3.twisted 4.zope.interface 5.w3lib 6.libxml2 7.libxslt 8.lxml 9.scrapy   Scrapy是一个开源的基于twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。 yum install ...
Linux环境安装scapy
qq_14841139的博客
08-04 1789
CentOS7自带了python2.7，不需要安装python，可以自查一下是否有python。安装完之后，可以进入如下界面，即安装成功。4.安装scrapy框架所需的依赖包。2.把pip更新到最新版本。5.安装scrapy框架。确定有之后，下面继续。...
Linux操作——Scrapy的安装
DerickQin的博客
07-01 1494
Linux操作——Scrapy的安装 （1） sudo pip install setuptools==33.1.1 （2） 下载docutils-0.13.1.tar.gz， 解压后安装： sudo python setup.py install （3） 下载Twisted-13.1.0.tar.bz2，解压后安装。 （4） sudo pip install scrapy （5） 中间有可能需要的： yum install -y python-devel openssl-devel libxslt-
Python - scrapy安装中libxml2问题
01-31 147
先到http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载下面三个库的 whl，然后用pip install 来安装即可 pycurl，lxml，libxml2 转载于:https://www.cnblogs.com/McKean/p/6358959.html...
在Linux上安装scrapy【史上最全】
chouzhanying1799的博客
12-10 642
最近学习python的爬虫框架scrapy。官方给的安装文档真心坑爹，自己安装的时候真心不容易啊，一定要记录下来，以备查阅。 如果有哪些盆友遇到这样问题，拿走，不谢。 笔者环境： 用oracle VM virtualVox装的虚拟机，系统是centos6.5，能连互联网。 前提准备...
在Linux系统上安装Python的Scrapy框架教程
YOLOv6666的博客
09-21 795
本教程向您展示了如何在Linux系统上安装Scrapy框架，并创建并运行第一个爬虫。虚拟环境允许您在单独的环境中安装和管理Python包，以避免与系统中的其他包发生冲突。虽然这一步是可选的，但强烈建议您在安装Scrapy之前创建一个虚拟环境。如果您看到了Python和pip的版本信息，则表示它们已经安装在您的系统上。本教程将向您展示如何在Linux系统上安装Scrapy框架，并提供相应的源代码来帮助您完成安装过程。您已成功在Linux系统上安装了Scrapy框架，并创建并运行了第一个爬虫。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值