MAC OSX下用pip安装lxml时遇到xmlversion.h not found的解决办法

最新推荐文章于 2021-07-08 16:33:58 发布
原创 最新推荐文章于 2021-07-08 16:33:58 发布 · 6.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文提供了解决在Mac操作系统下使用pip安装lxml时遇到的'libxml/xmlversion.h'文件未找到错误的方法。通过指定C_INCLUDE_PATH到XCode的MacOSXSDK中libxml路径，成功解决了问题。

        今天在Mac下用pip安装lxml，总是报如下错误：

etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found

参考http://lxml.de/installation.html的安装文档，用如下命令安装问题依旧。

STATIC_DEPS=true sudo pip install lxml

搜了几个方法都不行，无意间搜到如下文章：http://blog.marchtea.com/archives/91，如法炮制，增加C_INCLUDE_PATH指定到XCode MacOSX SDK中libxml路径，问题搞定。Mark一下。 

sudo C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.8.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.8.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.8.sdk/usr/include pip install lxml


解决OSX升级到Sierra后,安装OpenCV报错:QTKit/QTKit.h file not found
乐呵
10-28 3679
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
MAC OSX stdio.h或iostream等头文件无法找到的解决办法
wang545054788的专栏
06-16 9000
今天发现在命令行用clang编译一个普通的c文件时报错： fatal error: ‘stdio.h’ file not found 查了一下，普遍的说法是： 安装xcode-select（$ xcode-select --install），接着安装 /Library/Developer/CommandLineTools/Packages/macOS_SDK_headers_for_macOS_10.14. pkg 这种方法不行，我在CommandLineTools文件夹下没有找到Packages，
mac中安装python, pydev, beautifulsoup, lxml, scrapy
priestmoon的专栏
11-18 1万+
一、安装python sudo rm -rf /System/Library/Frameworks/Python.framework/ sudo rm -rf /Library/Frameworks/Python.framework/ sudo rm -rf /Applications/Python\ 2.7/ sudo rm -rf /usr/local/bin/* 重启机器 以上步
mac10.10上安装lxml
Dai丶Yu
08-14 831
安装scrapy过程中 安装lxml 始终报错： In file included from src/lxml/lxml.etree.c:239:     /private/tmp/pip-build-2WNYG9/lxml/src/lxml/includes/etree_defs.h:14:10: fatal error: 'libxml/xmlversion.h' file not fo
Mac下安装lxml及Beautiful Soup
阿福的专栏
01-24 5081
sudo easy_install lxml sudo easy_install beautifulsoup4
mac上 python 安装lxml失败Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed
王广彬
04-20 4743
最近在学习Python的时候，安装lxml总是失败 #include "libxml/xpath.h"              ^     1 error generated.     *********************************************************************************     Could not find
macOS下安装lxml的问题解决
weixin_34272308的博客
11-15 275
安装Python包python-pptx需要用到lxml，而安装lxml报错： fatalerror:'libxml/xmlversion.h'filenotfound 解决方法： xcode-select--install 安装完commandline tool for xcode后，在安装就不会出错了。 本文转自 h...
Mac OSX下使用MAMP安装配置PHP开发环境
01-09
一.简单介绍： ...phpMyAdmin 也很实用，它是 MySQL 的图形接口。这三个组件是可用于开发、测试和部署 Web 应用...除非您能在 Terminal 中轻松使用命令行，否则安装一体解决方案 MAMP 要简单得多。本部分描述如何在 Ma
cmake ios终端下执行提示错误 iOS version not found, tested: [5.0;5.1;6.0;6.1;7.0;8.3]的解决方案
09-01
然而，当你在iOS终端下执行CMake时，可能会遇到“iOS version not found, tested: [5.0;5.1;6.0;6.1;7.0;8.3]”的错误。这个错误通常意味着CMake无法找到合适的iOS SDK版本来构建你的项目。iOS SDK是Apple提供的开发...
Scrapy安装过程中出现“'libxml/xmlversion.h' file not found“报错的处理方法
weixin_30457881的博客
03-23 217
在Mac上使用“easy_install scrapy”命令安装Scrapy时，出现xmlversion.h头文件不存在的报错： 查阅了一些资料，有可能是Mac升级到了Yosemite造成的，使用控制台安装command line tools就可以解决了。在控制台执行如下命令：xcode-select —install 。 安装完成后，再执行“easy_install scrap...
mac os用pip安装scrapy时报错#include "libxml/xmlversion.h" file not found
KeepCoding
08-12 7144
安装一个python爬虫框架scrapy，pip安装时总是报如下错误： lxml/src/lxml/includes/etree_defs.h:14:10: fatal error: 'libxml/xmlversion.h' file not found    #include "libxml/xmlversion.h"             ^    1 error generated.
qpython3安装lxml_如何在Mac OS X 10.7.4上安装lxml？我已经用尽了所有的选择
weixin_39572168的博客
12-06 263
尝试了各种途径但没有运气。我用的是10.7.4的MBP。我不记得上次在我的Mac上安装Python有这么多问题。请帮助我在本地计算机上使用lxml，而不要依赖SVN提交、更新来在Linux计算机上远程运行。$ sudo STATIC_DEPS=true /usr/bin/easy_install-2.7 lxmlPassword:Searching for lxmlReading http://p...
Mac OS下安装 lxml报错
shenpengjianke的专栏
08-17 1461
今天在Mac下安装lxml总是报错，错误信息如下： n file included from src/lxml/lxml.etree.c:346: /tmp/easy_install-UkLnaO/lxml-3.3.5/src/lxml/includes/etree_defs.h:9:10: fatal error:        'libxml/xmlversion.h' file
libxml/xmlversion.h: No such file or directory
热门推荐
奔跑的蜗牛
03-28 1万+
/tmp/pip-build-imUeln/lxml/src/lxml/includes/etree_defs.h:14:31: fatal error: libxml/xmlversion.h: No such file or directory           #include "libxml/xmlversion.h"                             
致命错误：libxml/xmlversion.h：没有那个文件或目录 #include "libxml/xmlversion.h"
sonia_liss的博客
11-05 2836
python 安装错误记录： > cpp -o build/temp.linux-x86_64-3.6/dragnet/blocks.o cc1plus: > 警告：command line option ‘-Wstrict-prototypes’ is valid for C/ObjC but > not for C++ [默认启用] dragnet/blocks.cpp:48...
libxml2_xmlversion.h翻译
文斗士的专栏
05-16 575
/* * Summary: compile-time version informations * Description: compile-time version informations for the XML library * * Copy: See Copyright for the status of this software. * * Author: Daniel Veillar...
python安装软件出现错误 fatal error: 'libxml/xmlversion.h' file not found
鹰击长空
12-31 3223
解决办法： sudo C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/AppleTVSimulator.platform/Developer/SDKs/AppleTVSimulator.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/D
python 错误汇总2：致命错误： libxml/xmlversion.h：没有那个文件或目录
svap1的专栏
12-31 3284
致命错误： libxml/xmlversion.h：没有那个文件或目录 解决办法： apt-get install libxml2-dev sudo ln -s /usr/include/libxml2/libxml   /usr/include/libxml
python3解析库lxml的windows/Linux/Mac三大平台安装教程
zhi_neng的博客
07-08 2334
抓取网页代码之后，下一步就是从网页中提取信息。提取信息的方式有多种多样，可以使用正则来提取，但是写起来相对比较烦琐。这里还有许多强大的解析库，如Ixml、Beautiful Soup、pyquery等。此外，还提供了非常强大的解析方法，如 XPath 解析和 CSS 选择器解析等，利用它们，我们可以高效便捷地从网页中提取有效信息。本文中，我们就来介绍一下这些库的安装过程。 一.lxml 的安装 lxml 是 Python 的一个解析库，支持 HTML 和 XML 的解析，支持 XPath 解析方式，而且.
conda通过配置文件一次下载爬虫需要的依赖
最新发布
09-30
<think>我们之前已经介绍了如何使用conda通过环境配置文件（environment.yml）来安装所有依赖。现在，针对爬虫项目，我们需要创建一个包含爬虫所需依赖的配置文件。常见的爬虫依赖包括： - 爬虫框架：Scrapy - 解析库：BeautifulSoup, lxml - HTTP库：requests - 浏览器自动化：selenium - 其他可能用到的：pandas（用于数据处理），mongodb（存储）等 下面我将创建一个专门用于爬虫的conda环境配置文件，并解释如何安装。 步骤： 1. 创建environment.yml文件，内容如下（根据实际需求调整）： ```yaml name: spider_env # 环境名称 channels: - conda-forge # 推荐使用conda-forge，因为包更新更快 - defaults dependencies: - python=3.10 # 指定Python版本 - scrapy=2.11 # 安装Scrapy框架 - beautifulsoup4=4.12 # HTML解析库 - lxml=4.9 # 解析库，比内置的html.parser更快 - requests=2.31 # HTTP库 - selenium=4.10 # 浏览器自动化 - pandas=2.0 # 数据处理 - pymongo=4.3 # MongoDB驱动 - pip # 确保pip已安装，以便安装一些conda中没有的包 - pip: # 通过pip安装的包 - scrapy-user-agents==0.1.1 # 随机User-Agent中间件 - fake-useragent==1.3.0 # 生成随机User-Agent - playwright==1.36.0 # 另一种浏览器自动化工具 ``` 2. 在终端中运行以下命令来创建环境： ```bash conda env create -f environment.yml ``` 3. 激活环境： ```bash conda activate spider_env ``` 4. 对于使用Playwright，还需要安装浏览器： ```bash playwright install ``` 注意：上面的配置文件中，我们通过`pip`字段指定了需要pip安装的包。这是因为有些包可能不在conda仓库中，或者需要特定版本。 如果遇到包冲突，可以尝试以下方法： - 删除版本号，让conda自动选择兼容版本。 - 使用`conda-forge`通道，通常有更多的包和更新的版本。 另外，如果项目需要，还可以添加其他依赖，比如数据库驱动（如`pymysql`，`psycopg2`）等。 下面是一个简单的爬虫测试脚本（test_spider.py），用于验证环境是否安装成功： ```python import requests from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys import pandas as pd import pymongo # 使用requests和BeautifulSoup url = "https://example.com" response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') print("BeautifulSoup解析标题:", soup.title.text) # 使用Selenium driver = webdriver.Chrome() # 确保已安装Chrome和对应版本的ChromeDriver driver.get(url) print("Selenium获取的标题:", driver.title) driver.quit() # 使用Pandas data = pd.DataFrame([{'url': url, 'title': soup.title.text}]) print("Pandas DataFrame:") print(data) # 连接MongoDB（假设本地已安装MongoDB） client = pymongo.MongoClient('mongodb://localhost:27017/') db = client['test_db'] collection = db['test_collection'] collection.insert_one({'url': url, 'title': soup.title.text}) print("插入MongoDB成功！") ``` 注意：运行Selenium部分需要下载ChromeDriver，并放在系统路径中，或者指定路径。也可以使用`webdriver_manager`自动管理驱动，但需要额外安装。 如果不想手动管理浏览器驱动，可以在pip部分添加： - pip install webdriver-manager 然后修改Selenium部分代码： ```python from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) ``` 因此，我们可以更新环境文件，添加`webdriver-manager`。 所以，根据上述需求，更新后的environment.yml可能如下： ```yaml name: spider_env channels: - conda-forge - defaults dependencies: - python=3.10 - scrapy=2.11 - beautifulsoup4=4.12 - lxml=4.9 - requests=2.31 - selenium=4.10 - pandas=2.0 - pymongo=4.3 - pip - pip: - scrapy-user-agents==0.1.1 - fake-useragent==1.3.0 - playwright==1.36.0 - webdriver-manager==3.8.6 # 新增 ``` 然后重新更新环境（如果已经创建，可以使用更新命令）： ```bash conda env update -f environment.yml ``` 这样，环境就包含了自动管理浏览器驱动的包。 最后，请注意：Playwright的浏览器安装需要单独运行命令（如上所述）。 总结：通过一个YAML配置文件，我们可以使用conda一次性安装爬虫项目所需的所有依赖，包括用pip安装的包。这样可以确保环境的一致性和可复现性。 §§相关问题§§: 1. 如何解决Conda安装过程中出现的依赖冲突？ 2. 如何将现有的Conda环境导出为配置文件？ 3. 使用Selenium时如何实现无头模式（Headless）？ 4. 如何配置Scrapy项目以使用MongoDB存储爬取的数据？ </think>### 使用 Conda 配置文件一次性安装爬虫所需依赖 以下是针对爬虫项目的完整 Conda 环境配置解决方案，包含配置文件创建、依赖安装和验证流程： #### 1. 创建爬虫专用环境配置文件 (`spider_env.yml`) ```yaml name: spider_env # 环境名称 channels: - conda-forge # 推荐使用，更新更及时 - defaults dependencies: # 核心爬虫库 - python=3.10 - scrapy=2.11 # 爬虫框架 - beautifulsoup4 # HTML解析 - lxml # XML处理 - requests # HTTP请求 # 浏览器自动化 - selenium - playwright # 数据处理 - pandas - numpy # 数据存储 - pymongo # MongoDB支持 - sqlalchemy # SQL数据库支持 # 反爬相关 - fake-useragent # 随机UA生成 - pyopenssl # HTTPS支持 # 代理和并发 - aiohttp # 异步HTTP - scrapy-splash # JavaScript渲染 # 使用pip安装的额外包 - pip: - scrapy-user-agents # UA中间件 - scrapy-proxy-pool # 代理池 - scrapyd # 爬虫部署 - scrapyd-client # 部署客户端 ``` #### 2. 创建并激活爬虫环境 ```bash # 创建环境（自动安装所有依赖） conda env create -f spider_env.yml # 激活环境 conda activate spider_env # 验证安装（检查关键组件） python -c "import scrapy; import selenium; print('Scrapy版本:', scrapy.__version__)" ``` #### 3. 浏览器驱动安装（Selenium/Playwright） ```bash # 安装Playwright浏览器 playwright install chromium firefox webkit # 下载ChromeDriver（与本地Chrome版本匹配） # 从 https://chromedriver.chromium.org/downloads 下载 # 解压后放入PATH路径或项目目录 ``` #### 4. 爬虫测试脚本 (`spider_test.py`) ```python import scrapy import requests from bs4 import BeautifulSoup from selenium import webdriver from playwright.sync_api import sync_playwright class TestSpider(scrapy.Spider): name = "test_spider" start_urls = ["https://example.com"] def parse(self, response): print(f"Scrapy获取标题: {response.css('title::text').get()}") # 使用BeautifulSoup解析 soup = BeautifulSoup(response.text, 'lxml') print(f"BeautifulSoup标题: {soup.title.string}") # 使用Selenium options = webdriver.ChromeOptions() options.add_argument('--headless=new') # 无头模式 driver = webdriver.Chrome(options=options) driver.get(response.url) print(f"Selenium标题: {driver.title}") driver.quit() # 使用Playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto(response.url) print(f"Playwright标题: {page.title()}") browser.close() # 请求库测试 response = requests.get("https://example.com", headers={"User-Agent": "Mozilla/5.0"}) print(f"Requests状态码: {response.status_code}") ``` 运行测试： ```bash scrapy runspider spider_test.py ``` #### 5. 环境管理技巧 **更新环境**： ```bash # 添加新依赖后更新环境 conda env update -f spider_env.yml # 导出当前环境（用于分享） conda env export --no-builds > spider_env.yml ``` **跨平台配置**： ```yaml # 在spider_env.yml中添加平台特定依赖 platforms: - linux-64 - win-64 - osx-64 ``` #### 依赖冲突解决方案 当出现依赖冲突时： 1. 移除版本锁定： ```yaml # 将 - scrapy=2.11 改为 - scrapy ``` 2. 使用优先级通道： ```yaml channels: - conda-forge - defaults channel_priority: strict # 严格优先级 ``` 3. 分离冲突包： ```bash # 先创建基础环境 conda create -n spider_base python=3.10 scrapy pandas # 再单独安装冲突包 conda activate spider_base conda install -c conda-forge tensorflow # 示例 ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值