pandas合并多张表多表头的表单

该博客介绍了如何使用Python的pandas库读取D盘doc文件夹下所有Excel文件,并将它们合并为一个大的DataFrame,最后将结果保存为all_data.xlsx。主要涉及的操作包括os模块用于文件路径处理,pd.read_excel用于读取Excel,pd.concat用于数据合并。
import pandas as pd
import os
path = r'D:\doc'

df1 = []
for i in os.listdir(path):
    # 重构文件路径
    name = os.path.join(path,i)
    print(name)
    # 将excel转换成DateFrame
    a = pd.read_excel(name)
    # 保存到新列表
    df1.append(a)

# 多个DateFrame合并成一个,join参数outer代表并集
df = pd.concat(df1,join='outer')

df.to_excel('D:/doc/all_data.xlsx')
### 使用 Pandas 根据关键字合并或连接多个数据 Pandas 提供了多种方法来根据关键字合并或连接多个数据,主要通过 `merge` 函数实现。以下是关于如何使用 `merge` 函数的详细说明: `pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)` 是用于将两个 DataFrame 对象基于某些键进行合并的核心函数[^4]。 - 参数 `how` 决定了合并的方式,支持以下选项: - `'inner'`:内连接(默认值),仅保留两个中都存在的键值。 - `'outer'`:外连接,保留所有键值,缺失部分用 `NaN` 填充。 - `'left'`:左连接,以左边的 DataFrame 为基准,右边缺失的部分用 `NaN` 填充。 - `'right'`:右连接,以右边的 DataFrame 为基准,左边缺失的部分用 `NaN` 填充。 - 参数 `on` 指定用于合并的列名,如果两个的列名不同,可以分别使用 `left_on` 和 `right_on` 来指定左侧和右侧的键列[^2]。 - 参数 `suffixes` 用于解决当两个中有相同列名时,如何命名这些列的问题。例如,`suffixes=('_left', '_right')` 将在重复列名后添加 `_left` 和 `_right` 后缀。 - 如果需要基于索引进行合并,可以设置 `left_index=True` 或 `right_index=True`,这适用于一对一、多对一或多对多的连接场景[^3]。 #### 示例代码 以下是一个示例,展示如何基于关键字合并两个数据: ```python import pandas as pd # 创建两个示例 DataFrame df1 = pd.DataFrame({ 'key': ['A', 'B', 'C', 'D'], 'value1': [1, 2, 3, 4] }) df2 = pd.DataFrame({ 'key': ['B', 'D', 'E', 'F'], 'value2': [5, 6, 7, 8] }) # 使用 merge 函数基于 'key' 列进行内连接 result = pd.merge(df1, df2, on='key', how='inner') print(result) ``` 输出结果将是: ``` key value1 value2 0 B 2 5 1 D 4 6 ``` 如果需要处理包含 `null` 值的情况,需要注意 Pandas 的行为与 SQL 不同。如果两个键列都包含 `null` 值的行,则这些行会相互匹配,这可能导致意外的结果。 此外,在合并前确保合并键的数据类型一致是非常重要的。如果键在不同的 DataFrame 中具有不同的数据类型,可能需要先进行类型转换[^5]。 #### 注意事项 - 在合并过程中,重复的键值可能会导致结果异常。建议在合并前检查并处理重复值。 - 如果需要基于多个字段进行合并,可以通过将 `on` 参数设置为字段列来实现[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

七七超爱玩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值