批量提取网页表格内容至excel文件

梦因you而美

已于 2024-07-11 13:53:59 修改

阅读量741

点赞数 3

分类专栏：办公自动化文章标签： excel python自动化提取网页表格批量提取表格内容

于 2024-07-11 13:53:16 首次发布

本文链接：https://blog.youkuaiyun.com/apollo_miracle/article/details/140349973

版权

办公自动化专栏收录该内容

16 篇文章

订阅专栏

问题背景

将网页的表格内容（5237个股票信息）复制粘贴到excel文件中

网址：A股上市公司名单-A股上市公司名录-A股上市公司大全-商业计划书-可研报告-中商产业研究院数据库-中商情报网

实现代码

# 导入包
import pandas as pd
import time

# 创建空列表
df_list = []

# 循环读取并拼接网页表格
for i in range(5):
    df = pd.read_html(f'https://s.askci.com/stock/a/0-0?reportTime=2024-03-31&pageNum={i+1}#QueryCondition')
    # 将df拼接到列表中
    df_list.append(df[3])
    # 每次循环休息1秒钟
    time.sleep(1)

# 拼接所有表
all_df = pd.concat(df_list, ignore_index=True)
print(all_df)

# 写入 Excel
all_df.to_excel('./爽解决.xlsx')