<think>
我们正在解决使用requests和lxml库时，XPath返回空列表的
问题。以下将详细分析原因并提供解决方案。
用户上次的
问题中，我们注意到是因为XPath路径失效导致空列表。但XPath返回空列表的原因有多种，我们需要全面分析。
常见原因：
1
. **网页结构变化**：目标网页改版，原XPath路径失效。
2
. **编码
问题**：网页编码与解析编码不一致，导致乱码，XPath无法匹配。
3
. **动态加载
内容**：所需数据由Java
Script动态生成，requests获取的源码不包含这些
内容。
4
. **请求头
问题**：未设置正确的User-Agent或Cookie，被服务器识别为爬虫而返回错误页面。
5
. **XPath语法错误**：路径表达式写错，如大小写、属性名错误等。
6
. **元素在iframe中**：目标元素位于iframe内，而requests无法获取iframe内的
内容。
7
. **页面重定向或登录限制**：需要登录或跳转后才能访问目标
内容。
针对上述原因，我们逐一排查：
一、**检查网页结构变化**
使用浏览器开发者工具（如
Chrome的检查功能）重新检查元素，更新XPath路径。
避免使用绝对路径（如`/
html/body/div[5]/div[1]/div[2]/p[3]`），改用相对路径并结合元素属性（如class、id）。
二、**编码
问题**
requests获取的响应
内容需要正确解码。用户代码中使用了`decode('gbk')`，但目标网页可能是UTF-8编码。
解决方法：
1
. 查看网页源码中的`<meta charset="
...">`
标签确定编码。
2
. 使用`response
.encoding = '编码名称'`设置编码，或使用`response
.content
.decode('正确编码')`。
3
. 或者让requests自动判断：`response
.encoding = response
.apparent_encoding`。
三、**动态加载
内容**
如果数据是通过AJAX加载的，则直接请求
HTML源码将无法获取。此时需要：
1
. 在开发者工具的Network面板中查找XHR请求，获取数据接口。
2
. 改用requests请求该接口（通常返回JSON数据）。
四、**请求头
问题**
设置合理的请求头，尤其是User-Agent。有些网站需要Referer、Cookie等。
可尝试使用浏览器的真实请求头（如从开发者工具中复制）。
五、**XPath语法错误**
检查XPath表达式是否正确，例如：
- 属性值是否匹配：`//div[@class='example']`（注意class可能有多个，用contains函数匹配）
- 路径是否完整：可能需要使用`//`进行深度搜索
使用浏览器控制台测试XPath：`$x("your_xpath_expression")`
六、**iframe
问题**
如果元素在iframe中，需要先获取iframe的src，再请求该URL，然后解析。
七、**登录或重定向**
使用会话（requests
.Session）保持登录状态，处理重定向。
针对用户上次的代码，我们注意到：
- 目标URL: `https://m
.bqduo
.com/biquge/36_36301/`
- 用户使用了gbk解码，但该网页的charset是UTF-8（查看网页源码：`<meta charset="utf-8">`）
- 因此，应使用`main_reqs
.content
.decode('utf-8')`或设置`main_reqs
.encoding='utf-8'`后使用`main_reqs
.text`
- XPath路径已失效（如前所述）
解决方案步骤：
1
. 修正编码为UTF-8
2
. 更新XPath表达式：根据当前网页结构，书籍标题位于`<h1 class="bookname">`内（在另
一个类似网页结构中发现，但需验证目标网页）
验证目标网页（2025年3月28日）：
打开`https://m
.bqduo
.com/biquge/36_36301/`，查看元素：
书籍标题位于：`<div class="book_info">`下的`<h1 class="bookname">万古第一神</h1>`
因此XPath可为：`//h1[@class="bookname"]/text()`
修改后的代码：
```python
import requests
from lxml import etree
headers = {
'User-Agent': 'Mozilla/5
.0 (Windows NT 10
.0; Win64; x64) AppleWebKit/537
.36 (K
HTML, like Gecko)
Chrome/91
.0
.4472
.124 Safari/537
.36',
# 注意：原代码中的Cookie可能过期，建议去掉或更新
}
main_url = 'https://m
.bqduo
.com/biquge/36_36301/'
main_reqs = requests
.get(main_url, headers=headers)
# 设置编码为utf-8
main_reqs
.encoding = 'utf-8'
main_
html = etree
.HTML(main_reqs
.text)
# 使用更健壮的XPath
bookTitle = main_
html.xpath('//h1[@class="bookname"]/text()')
if bookTitle: # 防止空列表
print(bookTitle[0])
else:
print("未找到标题")
```
如果仍然返回空列表，则需进一步检查：
1
. 请求是否成功（状态码200）？
2
. 返回
内容是否包含预期数据（打印main_reqs
.text的前1000字符查看）？
3
. 是否有反爬措施（如IP限制）？
为了增加健壮性，可以：
- 添加异常处理
- 使用多个备选XPath
- 使用CSS选择器（通过lxml的cssselect）
例如，使用cssselect：
```python
from lxml
.cssselect import CSSSelector
selector = CSSSelector('h1
.bookname')
elements = selector(main_
html)
if elements:
title = elements[0]
.text
```
总结：XPath返回空列表的主要原因和解决方案如下：
1
. **路径失效**：更新XPath，使用相对路径和属性定位。
2
. **编码错误**：确保正确解码网页
内容。
3
. **动态
内容**：寻找数据接口或使用Selenium。
4
. **请求头
问题**：模拟浏览器请求头。
5
. **语法错误**：仔细检查XPath表达式。
6
. **网页结构复杂**：处理iframe或登录。
最后，生成相关
问题：
</think>
# Python使用requests和lxml库时XPath返回空列表的原因分析
在使用requests和lxml库进行网页解析时，XPath返回空列表是常见
问题。以下是全面分析的原因及解决方案：
## 核心原因分析
### 1
. 网页编码
问题 (最常见)
```python
# 错误示例：使用错误编码解码
main_text = main_reqs
.content
.decode('gbk') # 实际网页可能是UTF-8编码
```
**解决方案：**
```python
# 自动检测编码
import chardet
encoding = chardet
.detect(main_reqs
.content)['encoding']
main_text = main_reqs
.content
.decode(encoding or 'utf-8')
# 或手动指定
main_reqs
.encoding = 'utf-8' # 自动处理解码
main_text = main_reqs
.text
```
### 2
. XPath表达式失效
```python
# 错误示例：使用绝对路径且层级失效
bookTitle = main_
html.xpath("/
html/body/div[5]/div[1]/div[2]/h2/a")[0]
```
**解决方案：**
```python
# 使用相对路径和属性定位
bookTitle = main_
html.xpath('//div[@class="book_info"]/h1/text()')
# 使用CSS选择器更稳定
from lxml
.cssselect import CSSSelector
sel = CSSSelector('
.book_info > h1')
bookTitle = sel(main_
html)[0]
.text
```
### 3
. 动态加载
内容问题
```python
# 错误示例：直接获取静态
HTML，忽略JS
渲染内容
main_reqs = requests
.get(main_url) # 不执行JS
```
**解决方案：**
```python
# 使用Selenium处理JS
渲染
from selenium import webdriver
driver = webdriver
.Chrome()
driver
.get(main_url)
html_source = driver
.page_source
main_
html = etree
.HTML(
html_source)
```
### 4
. 请求头
问题
```python
# 错误示例：缺少必要请求头
headers = {'User-Agent': '简易UA'} # 缺少Referer/Cookie等
```
**解决方案：**
```python
# 完整模拟浏览器请求
headers = {
'User-Agent': 'Mozilla/5
.0 (Windows NT 10
.0; Win64; x64) AppleWebKit/537
.36
...',
'Accept-Language': 'zh-CN,zh;q=0
.9',
'Referer': 'https://m
.bqduo
.com/',
'Cookie': 'your_valid_cookie_here'
}
```
### 5
. 网页结构嵌套
问题
```python
# 错误示例：忽略iframe嵌套
# 目标
内容可能在iframe中
```
**解决方案：**
```python
# 定位iframe并单独请求
iframe_src = main_
html.xpath('//iframe/@src')[0]
iframe_req = requests
.get(iframe_src, headers=headers)
iframe_
html = etree
.HTML(iframe_req
.text)
```
## 调试工具与方法
### XPath调试技巧
在浏览器控制台测试XPath：
```java
script
$x('//h1[@class="title"]') // 返回匹配元素数组
```
### 网页结构对比
```python
# 保存实际获取的
HTML
with open('debug
.html', 'w', encoding='utf-8') as f:
f
.write(main_reqs
.text)
```
然后在浏览器中打开查看与预期页面的差异[^1]。
## 完整解决方案代码
```python
import requests
from lxml import etree
import chardet
from urllib
.parse import urljoin
def safe_xpath_extraction(url, xpaths_list, headers=None, timeout=10):
"""安全获取XPath
内容，支持多备选路径"""
try:
# 发送请求
response = requests
.get(url, headers=headers or {}, timeout=timeout)
response
.raise_for_status()
# 智能编码检测
if not response
.encoding or 'iso-8859' in response
.encoding
.lower():
enc = chardet
.detect(response
.content)['encoding'] or 'utf-8'
response
.encoding = enc
# 解析
HTML
tree = etree
.HTML(response
.text)
# 尝试多个XPath路径
for xpath in xpaths_list:
results = tree
.xpath(xpath)
if results:
return results[0]
.strip(), response
.text[:500] # 返回结果和部分
HTML
return None, response
.text[:500] # 所有路径均失败
except Exception as e:
print(f"提取失败: {str(e)}")
return None, None
# 使用示例
if __name__ == "__main__":
url = "https://m
.bqduo
.com/biquge/36_36301/"
# 多备选XPath路径
xpath_strategies = [
'//h1[@class="bookname"]/text()', # 首选
'//div[@class="book_info"]/h1/text()',
'//title/text()'
]
headers = {
'User-Agent': 'Mozilla/5
.0 (Windows NT 10
.0; Win64; x64) AppleWebKit/537
.36
...',
'Accept': 'text/
html,application/x
html+xml,application/xml;q=0
.9,*/*;q=0
.8'
}
result,
partial_
html = safe_xpath_extraction(url, xpath_strategies, headers)
if result:
print(f"成功提取标题: {result}")
else:
print("提取失败，可能原因:")
print("1
. XPath路径失效 | 2
. 网页结构变化 | 3
. 动态加载
内容")
print("部分
HTML内容:")
print(
partial_
html or "未获取到
HTML")
```
## 预防性措施表格
|
问题类型 | 预防措施 | 检测方法 |
|---------|---------|---------|
| 编码
问题 | 自动编码检测 | 打印
HTML前100字符 |
| XPath失效 | 多路径备选 | 浏览器控制台测试 |
| 动态
内容 | 检查Network中的XHR请求 | 查看网页源码对比 |
| 反爬机制 | 轮换User-Agent/IP | 监控响应状态码 |
| 登录限制 | 使用Session保持会话 | 检查是否有登录跳转 |
当XPath持续返回空列表时，建议按照以下流程排查：
1
. 验证请求是否成功（状态码200）
2
. 检查
HTML内容是否包含目标数据
3
. 在浏览器开发者工具中测试XPath
4
. 尝试简化XPath路径（如`//*[@id="title"]`）
5
. 考虑网站是否有反爬措施[^2]
通过系统性地排查这些
问题，可以解决绝大多数XPath返回空列表的情况。
本文描述了一个在Chromev46版本中遇到的页面渲染问题，具体表现为AJAX请求获取的部分HTML内容中的JS脚本被错误地当作HTML内容显示出来。通过将JS脚本包裹在额外的<div>标签内解决了此问题。
扫一扫
1156
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
