利用pandas.read_html()直接读取网页中的表格数据

最新推荐文章于 2025-10-08 01:50:01 发布

原创

最新推荐文章于 2025-10-08 01:50:01 发布 · 5.6k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据挖掘 #数据分析

本文介绍了如何利用pandas的read_html()函数从网页中抓取表格数据。通过设置不同参数，如io、header和attrs，可以灵活处理各种网页表格。对于包含多个表格的页面，可以通过索引来选择特定表格。此外，还展示了如何通过循环遍历多页表格并合并数据。示例中分别展示了从百度百科和中国证监会网站抓取并合并表格数据的方法。

利用pandas.read_html()直接读取网页中的表格数据

read_html() 函数是最简单的爬虫，可以爬取静态网页表格数据。

但只适合于爬取 table 表格型数据

首先分析pandas.read_html() 函数的参数

import pandas as pd
df=pd.read_html()
# 常用的参数
io：url、html文本、本地文件等
header：标题行
flavor：解析器
skiprows：跳过的行
attrs：属性，例如：attrs = {
   
   'id':'table'}
parse_dates:解析日期
# 注意：返回的结果是DataFrame组成的list