10分钟上手requests-html：从零基础到爬取动态网页的完整指南
项目地址: https://gitcode.com/gh_mirrors/re/requests-html 你是否还在为Python网页解析而烦恼？面对复杂的JavaScript渲染内容无从下手？requests-html库（Pythonic HTML Parsing for Humans™）正是为解决这些痛点而生。本文将带你从安装到实战，掌握这个强大工具的核心功能，让网页数据获取变得像浏览网页一样简单。
为什么选择requests-html？
requests-html是一个为人类设计的Python HTML解析库，它将requests的便捷性与强大的HTML解析能力完美结合。与传统的BeautifulSoup相比，它提供了以下独特优势：
- 内置JavaScript渲染：无需额外配置即可处理动态网页
- 直观的API设计：CSS选择器和XPath双重支持
- 异步支持：提高多页面爬取效率
- 自动处理编码：无需手动指定字符集
- 连接池与Cookie持久化：优化网络请求性能
项目的核心实现位于requests_html.py，完整的使用示例可参考README.rst。
快速开始：安装与基础使用
环境准备
requests-html仅支持Python 3.6及以上版本，推荐使用pipenv进行安装：
$ pipenv install requests-html
✨🍰✨
第一个示例：获取网页内容
最基础的用法是创建一个HTML会话并获取网页内容：
from requests_html import HTMLSession
# 创建会话
session = HTMLSession()
# 发送GET请求
r = session.get('https://python.org/')
# 打印网页标题
print(r.html.find('title', first=True).text) # 输出: Python.org
这段代码通过HTMLSession创建一个会话，获取Python官网首页，并使用CSS选择器查找标题元素。find()方法返回符合条件的元素列表，first=True参数表示只返回第一个匹配元素。
核心功能详解
1. 选择元素：CSS选择器与XPath
requests-html提供了两种主要方式来定位网页元素：CSS选择器和XPath。
CSS选择器示例
# 获取所有链接
links = r.html.find('a')
# 获取带特定类的元素
nav_links = r.html.find('nav a.menu-item')
# 获取带ID的元素
logo = r.html.find('#site-logo', first=True)
XPath示例
# 使用XPath获取所有段落
paragraphs = r.html.xpath('//p')
# 获取特定属性的元素
download_links = r.html.xpath('//a[contains(@href, "download")]')
元素选择是网页解析的基础，详细的选择器语法可参考官方文档。
2. 处理动态内容：JavaScript渲染
许多现代网站使用JavaScript动态加载内容，这对传统爬虫来说是个挑战。requests-html内置Chromium浏览器引擎，可以轻松处理这类情况：
# 渲染JavaScript内容
r = session.get('https://pythonclock.org')
r.html.render() # 首次运行会下载Chromium
# 提取动态生成的内容
countdown = r.html.find('.python-27-clock', first=True).text
print(f"Python 2.7将在{countdown}后停止支持")
render()方法会在后台启动Chromium浏览器，执行页面中的JavaScript并等待内容加载完成。你还可以通过参数控制渲染行为：
# 高级渲染选项
r.html.render(
retries=3, # 重试次数
script='window.scrollTo(0, document.body.scrollHeight)', # 执行滚动脚本
wait=2, # 等待时间(秒)
scrolldown=3, # 滚动次数
sleep=1 # 每次滚动后等待时间
)
3. 异步请求：提高爬取效率
对于需要同时获取多个页面的场景，异步请求可以显著提高效率：
from requests_html import AsyncHTMLSession
async def get_page(url):
session = AsyncHTMLSession()
response = await session.get(url)
return response
# 同时获取多个页面
urls = [
'https://python.org',
'https://github.com',
'https://stackoverflow.com'
]
results = session.run(*[lambda url=url: get_page(url) for url in urls])
异步实现位于requests_html.py的__aiter__和__anext__方法中。
4. 链接提取与处理
requests-html提供了便捷的链接提取功能：
# 获取所有链接（相对路径）
all_links = r.html.links
# 获取绝对路径链接
absolute_links = r.html.absolute_links
# 提取特定区域的链接
nav_links = r.html.find('nav', first=True).absolute_links
实战案例：爬取动态网页数据
让我们通过一个完整示例来爬取需要JavaScript渲染的网页数据。以Python 2.7倒计时页面(https://pythonclock.org)为例：
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://pythonclock.org')
# 渲染JavaScript
r.html.render()
# 提取倒计时数据
periods = [element.text for element in r.html.find('.countdown-period')]
amounts = [element.text for element in r.html.find('.countdown-amount')]
countdown_data = dict(zip(periods, amounts))
print("Python 2.7 倒计时:")
for period, amount in countdown_data.items():
print(f"{amount} {period}", end=' ')
这段代码会输出类似以下结果：
Python 2.7 倒计时:
1 Year 2 Months 28 Days 16 Hours 52 Minutes 46 Seconds
高级技巧与最佳实践
1. 自定义用户代理
有些网站会阻止默认爬虫User-Agent，你可以这样自定义：
r = session.get('https://example.com', headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
})
2. 处理分页内容
requests-html提供了便捷的分页处理功能：
# 遍历分页
for page in r.html:
# 处理当前页数据
print(f"处理页面: {page.url}")
# 提取下一页链接（如果需要）
next_page = page.next()
if not next_page:
break
3. 本地HTML解析
除了从网络获取内容，requests-html也可以直接解析本地HTML：
from requests_html import HTML
html_content = """
<html>
<body>
<h1>Hello, requests-html!</h1>
<ul>
<li>Item 1</li>
<li>Item 2</li>
</ul>
</body>
</html>
"""
# 直接解析HTML字符串
html = HTML(html=html_content)
print(html.find('h1', first=True).text) # 输出: Hello, requests-html!
常见问题与解决方案
1. 首次使用render()方法缓慢
首次调用render()方法时，requests-html会下载Chromium浏览器（约100MB），这是一次性操作。如果你需要在无网络环境使用，可以提前下载并指定路径：
r.html.render(executablePath='/path/to/chromium')
2. 中文乱码问题
requests-html会自动检测网页编码，但有时可能需要手动指定：
r.encoding = 'utf-8' # 手动设置编码
3. 元素找不到问题
如果使用CSS选择器找不到元素，可能是因为内容是动态加载的，需要先调用render()方法：
r.html.render() # 执行JavaScript
element = r.html.find('#dynamic-element', first=True)
总结与资源
requests-html是一个功能强大且易于使用的HTML解析库，它将网页请求、解析和渲染功能集于一身，极大简化了Python网页数据获取的流程。无论是简单的静态网页还是复杂的动态内容，requests-html都能应对自如。
学习资源
- 官方文档：docs/source/index.rst
- 源代码：requests_html.py
- 测试用例：tests/
- 示例代码：README.rst
通过本文的介绍，你已经掌握了requests-html的基本使用方法和核心功能。要成为真正的高手，建议查看源代码并尝试修改和扩展其功能。祝你在数据获取的旅程中一帆风顺！
如果你觉得这篇文章有帮助，请点赞收藏，并关注获取更多Python爬虫技巧！下一篇我们将深入探讨异步爬取和反爬策略，敬请期待。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
