Python爬虫常用的几种数据提取方式

最新推荐文章于 2025-06-12 18:02:07 发布

原创

最新推荐文章于 2025-06-12 18:02:07 发布 · 9.4k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #数据提取

本文介绍了Python爬虫中常用的数据提取方法，包括正则表达式、BeautifulSoup和PyQuery。正则用于匹配查找，如提取所有a标签文本；BeautifulSoup通过转换HTML为树形结构，方便获取标签属性和内容；PyQuery则提供了类似jQuery的操作方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python爬虫的几种数据提取方式：正则 ，bs4，pyquery，xpath，cssselector。
 一，正则
 提取数据步骤：创建正则对象-->匹配查找-->提取数据保存
 <html>
<div><a href='www.baidu.com'>正则</a></div>
<div>111111</div>
<div><a href='www.baidu1.com'>正则1</a></div>
<div>222222</div>
<div><a href='www.baidu2.com'>正则2</a></div>
<div>333333</div>
<div><a href='www.baidu3.com'>正则3</a></div>
<div>444444</div>
</html>

例：提取所有a标签的文本

pattern = re.compile(r'<a.*?>(.*?)</a>', re.S)

a_text = re.findall(pattern, html)

知识点：

findall 返回的结果是列表套元组的形式

而search一般要加group(), groups(),

re.S 可以将正则的搜索域不再是一行，而是整个HTML字符串

.*? 非贪婪匹配&