Python实现Excel数据合并技巧

于 2025-07-17 16:16:27 发布
阅读量711 收藏 23
点赞数 16
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42600128/article/details/149454711

本文还有配套的精品资源，点击获取 menu-r.4af5f7ec.gif

简介：在IT领域，数据处理中合并Excel文件是一项基本需求。本文详述了使用Python中的 pandas 和 openpyxl 库来合并多个Excel工作簿或工作表的方法。介绍了如何安装和使用这些库，提供了示例代码，说明了如何读取Excel文件、追加数据到DataFrame，最后将合并后的数据输出到一个新的Excel文件中。同时指出合并过程中可能遇到的内存消耗问题，并提出潜在的解决策略。
excel合并,excel合并单元格怎么弄,Python

1. Python数据处理概述

在当今信息化时代，数据处理已经成为IT领域中不可或缺的一部分。Python作为一种简洁而又功能强大的编程语言，在数据处理领域有着广泛的应用。Python的数据处理主要依赖于强大的第三方库，其中最为核心的就是 pandas 库，它可以方便地进行数据清洗、转换、聚合、分析等工作。除了 pandas ，还有 openpyxl 库专门处理Excel文件的读写和格式化。在这一章节，我们将初步探讨Python在数据处理中的应用，为接下来深入理解和应用 pandas 和 openpyxl 打下基础。

2. pandas 库安装和使用介绍

2.1 pandas 库的安装方式和环境配置

2.1.1 使用pip安装pandas库

为了使用 pandas 库，首先需要在你的Python环境中安装它。推荐使用Python的包管理工具 pip 进行安装。打开命令行工具（在Windows上是 cmd ，在macOS和Linux上是 Terminal ），并输入以下命令： 

pip install pandas

这个命令会下载 pandas 及其依赖项并安装在你的Python环境中。如果你使用的是Python 3并且系统同时安装了Python 2，你可能需要使用 pip3 来确保正确的版本被安装： 

pip3 install pandas

安装完成后，可以通过尝试导入 pandas 库来确认安装是否成功： 

import pandas as pd

如果没有任何错误提示，说明 pandas 库已经成功安装在你的系统中了。

2.1.2 确认 pandas 库安装成功

为了进一步确认 pandas 库已经安装并且可以正常工作，你可以尝试执行一个简单的命令，比如查看 pandas 的版本信息： 

print(pd.__version__)

这个命令会输出 pandas 的版本号。如果成功执行并且打印了版本号，那么你可以开始使用 pandas 库了。

请注意，有时候即使 pip 报告安装成功，由于环境路径问题，库可能不会被正确导入。如果你在尝试导入 pandas 时收到了一个 ModuleNotFoundError ，那么可能需要检查你的环境变量或者使用虚拟环境来确保Python可以找到 pandas 。

2.2 pandas 库的基本概念和数据结构

2.2.1 Series和DataFrame数据结构介绍

pandas 库中最基本的数据结构是 Series 和 DataFrame 。 Series 是一维的标签数组，能够存储任何数据类型（整数、字符串、浮点数、Python对象等）。 DataFrame 则是一个二维的标签数据结构，可以看作是一个表格或者说是 Series 对象的容器。

Series

创建一个简单的 Series 可以这样做： 

import pandas as pd

s = pd.Series([1, 3, 5, np.nan, 6, 8])
print(s)

这个 Series 对象会打印出一个带有索引的数组。 np.nan 是一个特殊的浮点值，表示缺失数据。

DataFrame

DataFrame 可以使用多种方式创建，例如从列表的列表、字典或者直接从一个二维的 numpy 数组。 

import pandas as pd
import numpy as np

data = {
    'country': ['Belgium', 'India', 'Brazil'],
    'capital': ['Brussels', 'New Delhi', 'Brasília'],
    'area': [30510, 3287590, 8515767]
}

df = pd.DataFrame(data)
print(df)

上述代码会创建一个包含国家、首都和面积的 DataFrame 。

2.2.2 pandas 中的数据选择和切片操作

pandas 库在数据选择和切片方面非常强大，支持基于位置、标签、布尔值等多种方式。

基于位置的数据选择

使用 .iloc[] 可以通过位置选择数据： 

print(df.iloc[0])  # 输出第一行数据
基于标签的数据选择

使用 .loc[] 可以基于标签来选择数据： 

print(df.loc[0, 'country'])  # 输出第一行的'country'列数据
条件选择

使用布尔索引可以根据条件选择数据： 

print(df[df['area'] > 5000000])  # 输出面积大于5000000的行

这些基本操作是 pandas 处理数据时不可或缺的部分，它们允许你灵活地选择和操作数据。

以上章节内容展现了 pandas 库的安装、配置以及基本数据结构和操作方法，接下来的章节将深入介绍如何在实际应用中操作Excel文件。

3. openpyxl 库安装和使用介绍

3.1 openpyxl 库的安装和使用环境配置

3.1.1 使用pip安装openpyxl库

openpyxl 是一个用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件的Python库。它允许开发者使用Python来操作Excel文件，例如读取、写入、创建以及修改数据。

为了安装 openpyxl ，推荐使用 pip ，这是Python的包管理工具，可以轻松地安装和管理Python包。在命令行中执行以下命令进行安装： 

pip install openpyxl

如果系统中同时安装了Python 2和Python 3，可能需要使用 pip3 来安装适用于Python 3的包： 

pip3 install openpyxl

3.1.2 确认 openpyxl 库安装成功

安装完成后，可以通过Python交互式解释器来验证安装是否成功。打开命令行或终端，输入 python 或 python3 ，进入Python解释器后，尝试导入 openpyxl 模块： 

>>> import openpyxl

如果没有任何错误信息显示，说明 openpyxl 已经成功安装。

3.2 openpyxl 库中的单元格操作和样式设置

3.2.1 单元格数据读写

在Excel文件中，单元格是最基本的数据单元。使用 openpyxl 可以轻松地读写单元格数据。下面是一个简单的例子，演示了如何创建一个新的工作簿（Workbook），选择一个工作表（Worksheet），然后写入数据到单元格，并读取这些数据。 

from openpyxl import Workbook

# 创建一个新的工作簿
wb = Workbook()

# 选择默认的工作表
ws = wb.active

# 写入数据到单元格
ws['A1'] = 'Hello, openpyxl!'

# 读取单元格的数据
cell_value = ws['A1'].value

print(cell_value)  # 输出: Hello, openpyxl!

3.2.2 单元格样式和格式的调整

openpyxl 还允许用户调整单元格的样式和格式，包括字体、颜色、对齐方式以及边框等。下面是一个调整单元格样式的例子： 

from openpyxl import Workbook
from openpyxl.styles import Font

# 创建一个新的工作簿
wb = Workbook()

# 选择默认的工作表
ws = wb.active

# 写入数据到单元格
ws['A1'] = 'Styled Text'

# 获取单元格对象
cell = ws['A1']

# 设置字体样式
cell.font = Font(name='Calibri', size=24, bold=True)

# 设置单元格对齐方式
cell.alignment = 'center'

# 保存工作簿
wb.save('styled_workbook.xlsx')

通过以上步骤，你可以创建一个包含带样式单元格的Excel文件。 openpyxl 通过这种方式提供了一个强大灵活的方式来操作Excel文件，非常适合需要对Excel文件进行复杂处理的应用场景。

在处理单元格格式和样式时，需要注意 openpyxl 中的样式对象是不可变的，这意味着一旦创建了样式对象，就无法修改它的属性。如果需要改变样式，必须创建新的样式对象，并将其应用到单元格上。

在下一节中，我们将详细探讨如何合并多个Excel文件，使用 openpyxl 库来实现这一功能。

4. 代码示例：Excel文件合并

在数据处理领域，合并Excel文件是常见的任务之一，这有助于整合不同来源的数据集。本章节将通过代码示例深入探讨如何使用 pandas 和 openpyxl 库来合并Excel文件。我们将从读取多个Excel文件开始，然后演示如何使用这两种库来实现数据的合并。

4.1 使用 pandas 库合并Excel文件

pandas 库提供了一系列功能强大的工具，用于数据处理和分析，特别是在数据合并方面。使用 pandas 可以非常方便地读取、处理和合并Excel文件。

4.1.1 读取多个Excel文件

在合并之前，首先需要使用 pandas 读取存储在多个Excel文件中的数据。 pandas 中的 read_excel 函数可以帮助我们完成这一任务。 

import pandas as pd

# 假定有三个Excel文件：file1.xlsx, file2.xlsx, file3.xlsx
file_list = ['file1.xlsx', 'file2.xlsx', 'file3.xlsx']

# 使用列表推导式读取所有文件，并将DataFrame列表存储在变量file_data中
file_data = [pd.read_excel(file) for file in file_list]

在上述代码中，我们使用了列表推导式来简化读取过程。 pd.read_excel 函数默认读取第一个工作表，也可以通过参数指定工作表或者工作表索引。

4.1.2 使用 pandas 库合并数据

接下来，我们将使用 pandas 提供的 concat 函数将读取的多个DataFrame合并为一个。 

# 将所有单独的DataFrame合并成一个大的DataFrame
combined_df = pd.concat(file_data, ignore_index=True)

# 将合并后的数据保存到新的Excel文件
combined_df.to_excel('combined_file.xlsx', index=False)

pd.concat 函数将多个DataFrame对象按顺序连接起来。参数 ignore_index=True 表示在合并时重置索引， index=False 表示在输出到Excel时不要索引列。

4.2 使用 openpyxl 库合并Excel文件

虽然 pandas 在处理数据时非常方便，但有时候我们可能需要更细致地控制Excel文件的读写操作。 openpyxl 库能够让我们在单元格级别上进行操作。

4.2.1 打开多个Excel文件

首先，我们需要使用 openpyxl 打开我们需要合并的多个Excel文件。 

from openpyxl import load_workbook

# 创建一个空的工作簿用于存放合并后的数据
merged_workbook = load_workbook('merged_file.xlsx')
merged_sheet = merged_workbook.active

# 打开其他工作簿并获取活动工作表
for file in file_list:
    workbook = load_workbook(filename=file)
    sheet = workbook.active
    # 读取工作表数据并追加到新的工作簿中
    for row in sheet.iter_rows(values_only=True):
        merged_sheet.append(row)

在上述代码中，我们首先创建了一个空的工作簿 merged_file.xlsx ，然后通过 load_workbook 函数加载每个需要合并的Excel文件，并将它们的数据追加到新的工作簿中。

4.2.2 手动合并单元格数据

虽然 openpyxl 没有直接的函数来合并多个工作簿，但我们可以手动遍历每个文件中的单元格并复制数据。 

for file in file_list:
    workbook = load_workbook(filename=file)
    sheet = workbook.active
    # 迭代指定的单元格范围并复制数据到新的工作簿
    for row in sheet.iter_rows(min_row=1, max_row=sheet.max_row, min_col=1, max_col=sheet.max_column):
        for cell in row:
            merged_sheet[cell.coordinate].value = cell.value

这段代码展示了如何遍历单个工作簿中的每个单元格，并将其值复制到新工作簿中相应的位置。需要注意的是，这种方法可能需要额外的逻辑来处理如单元格合并等复杂情况。

以上便是使用 pandas 和 openpyxl 库合并Excel文件的详细步骤和代码示例。通过实践，我们不仅能够掌握两种库在Excel文件合并方面的基本用法，还能够深入理解它们各自的优势和适用场景。在处理特定需求时，我们可以根据实际情况选择最适合的库来实现高效的数据整合。

5. 数据合并到DataFrame的过程

在数据处理中，合并数据是一个常见且重要的操作，它涉及到将来自不同数据源的数据整合到一个统一的视图中。 pandas 库提供了多种工具和方法来实现数据合并，其中 merge 和 concat 函数是两种主要的技术。本章将详细介绍如何在 pandas 中实现数据合并，并进一步探讨如何清洗和处理数据以准备合并操作。

5.1 数据预处理和清洗

在合并数据之前，通常需要对数据进行预处理和清洗。这是因为数据往往来源于不同的数据源，可能存在格式不一致、缺失值、异常值等问题。确保数据的质量是成功合并的前提。

5.1.1 处理缺失值和异常值

在合并数据前，首先需要处理缺失值。可以通过删除、填充或插值的方式来处理缺失数据。例如，可以使用 pandas 中的 dropna 方法删除含有缺失值的行或列，或者使用 fillna 方法填充缺失值。 

import pandas as pd

# 创建一个示例DataFrame
data = {
    'A': [1, 2, None, 4],
    'B': [None, 2, 3, 4]
}
df = pd.DataFrame(data)

# 删除含有缺失值的行
df_cleaned_drop = df.dropna()

# 使用0填充缺失值
df_cleaned_fill = df.fillna(0)

异常值也是数据清洗过程中需要关注的问题。异常值可能会影响数据合并后的结果，因此需要通过统计方法或者业务逻辑来判断是否需要删除这些值。

5.1.2 数据类型转换和重命名

合并前的数据预处理还包括确保数据类型的一致性以及列名的一致性。例如，可能会出现同一个字段在不同数据集中有不同的数据类型，或者列名不同但含义相同。使用 astype 方法可以进行数据类型的转换，使用 rename 方法可以重命名列。 

# 将列'A'的数据类型转换为字符串
df['A'] = df['A'].astype(str)

# 重命名列'B'为'New_B'
df_renamed = df.rename(columns={'B': 'New_B'})

5.2 数据合并技术详解

一旦数据被预处理和清洗，就可以进行数据合并操作了。 pandas 库提供了多种合并数据的方法，这里将重点介绍 merge 和 concat 函数。

5.2.1 使用 pandas 的merge函数进行合并

merge 函数适用于基于一个或多个键将不同的 DataFrame 对象对齐。这个方法类似于SQL中的join操作。可以指定合并的类型，如内连接（inner）、外连接（outer）、左连接（left）或右连接（right）。 

# 创建两个示例DataFrame
df1 = pd.DataFrame({
    'key': ['K0', 'K1', 'K2', 'K3'],
    'A': ['A0', 'A1', 'A2', 'A3'],
    'B': ['B0', 'B1', 'B2', 'B3']
})

df2 = pd.DataFrame({
    'key': ['K0', 'K1', 'K2', 'K4'],
    'C': ['C0', 'C1', 'C2', 'C4'],
    'D': ['D0', 'D1', 'D2', 'D4']
})

# 使用merge函数进行内连接合并
merged_inner = pd.merge(df1, df2, on='key', how='inner')

# 使用merge函数进行左连接合并
merged_left = pd.merge(df1, df2, on='key', how='left')

5.2.2 使用 pandas 的concat函数进行合并

与 merge 函数不同， concat 函数用于沿着一个轴将一系列的 DataFrame 对象堆叠在一起，类似于SQL中的UNION ALL操作。它不基于键值对齐，而是简单地堆叠数据。 

# 使用concat函数将DataFrame垂直合并
concatened_vertical = pd.concat([df1, df2], ignore_index=True)

# 使用concat函数将DataFrame水平合并
concatened_horizontal = pd.concat([df1, df2], axis=1)

在选择使用 merge 还是 concat 时，需要根据数据集的结构和合并的需求来决定。 merge 在需要基于特定键进行复杂合并时非常有用，而 concat 在简单地将数据集堆叠在一起时更为直接。

在本章中，我们介绍了数据预处理和清洗的重要性，并深入讲解了使用 pandas 进行数据合并的两种常用方法。在下一章中，我们将探讨如何将合并后的数据输出到新的Excel文件中，并在数据量很大时采用优化策略以减少内存占用。

6. 合并数据输出到新的Excel文件

当我们在 pandas 和 openpyxl 的帮助下完成了数据的处理和合并，接下来的步骤自然是将这些数据输出到新的Excel文件中。本章节将讨论如何使用这两种库将数据写入到Excel文件中，并探索 openpyxl 提供的高级特性，如自定义工作表和添加图表。

6.1 使用 pandas 库输出到Excel

pandas 提供了非常方便的方法将数据框（DataFrame）输出到Excel文件中。我们可以使用 to_excel() 方法轻松实现此操作，同时还可以指定格式和样式。

6.1.1 设置Excel输出的格式和样式

在使用 to_excel() 方法之前，我们可能会需要根据输出的具体需求来调整样式。 pandas 中的 ExcelWriter 对象结合 XlsxWriter 引擎可以用来设置格式和样式。以下是一个简单的示例： 

import pandas as pd

# 创建一个简单的DataFrame
df = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [24, 33, 27],
    'City': ['New York', 'Los Angeles', 'Chicago']
})

# 创建一个ExcelWriter对象
with pd.ExcelWriter('output.xlsx', engine='xlsxwriter') as writer:
    # 将DataFrame写入Excel
    df.to_excel(writer, sheet_name='Sheet1', index=False)
    # 获取xlsxwriter workbook和worksheet对象
    workbook = writer.book
    worksheet = writer.sheets['Sheet1']
    # 设置列宽
    worksheet.set_column('A:C', 18)
    # 设置标题格式：加粗、背景色等
    format1 = workbook.add_format({'bold': True, 'bg_color': '#D7E4BC', 'border': 1})
    worksheet.write(0, 0, 'Name', format1)
    worksheet.write(0, 1, 'Age', format1)
    worksheet.write(0, 2, 'City', format1)

在上面的代码中，我们首先创建了一个简单的DataFrame，然后使用 ExcelWriter 对象与 XlsxWriter 引擎结合，将数据输出到Excel文件 output.xlsx 中。我们还为工作表设置了格式和样式，包括列宽和标题行的样式。

6.1.2 调整DataFrame输出为Excel的参数

除了格式和样式， to_excel() 方法还有许多参数可以调整输出到Excel的方式。以下是一些常用参数的简单说明：

  • sheet_name : 指定工作表名称，默认为”Sheet1”。
  • index : 是否输出DataFrame的索引，默认为True。
  • header : 是否输出DataFrame的列名称，默认为True。
  • engine : 指定Excel写入引擎，如’openpyxl’或’xlsxwriter’。
  • columns : 指定输出到Excel的列顺序。

6.2 使用 openpyxl 库输出到Excel

openpyxl 是一个功能强大的库，用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件。它同样可以将数据输出到Excel文件中，并提供了许多高级功能，如添加图表、创建多个工作表等。

6.2.1 使用 openpyxl 保存DataFrame到Excel

我们可以直接使用 openpyxl 库将 pandas 的DataFrame转换为 openpyxl 中的工作簿（Workbook）对象，并保存到文件中： 

import pandas as pd
from openpyxl import Workbook

# 将DataFrame转换为openpyxl可以使用的格式
def dataframe_to_openpyxl(df):
    wb = Workbook()  # 创建一个新的workbook
    ws = wb.active    # 获取活动的工作表
    for r in range(1, len(df.index)+1):  # 遍历DataFrame的每一行
        for c in range(1, len(df.columns)+1):  # 遍历DataFrame的每一列
            ws.cell(row=r, column=c, value=df.iat[r-1, c-1])  # 填充数据到单元格
    return wb

# 将DataFrame转换并保存为Excel文件
df = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [24, 33, 27],
    'City': ['New York', 'Los Angeles', 'Chicago']
})
wb = dataframe_to_openpyxl(df)
wb.save('output_openpyxl.xlsx')

在上面的代码中，我们定义了一个函数 dataframe_to_openpyxl ，它接受一个DataFrame对象，并将其转换为 openpyxl 的Workbook对象。之后，我们保存这个workbook到文件 output_openpyxl.xlsx 。

6.2.2 高级特性：自定义工作表和添加图表

openpyxl 在输出Excel文件方面提供了更多高级特性，如自定义工作表名称、添加图表等。 

# 继续上面的代码，添加图表
from openpyxl import chart

# 创建一个柱状图
chart_obj = chart.BarChart()
data = [(i, sum(x)) for i, x in enumerate(df['Age'])]
chart_obj.add_data(data, titles_from_data=True)

# 将图表添加到工作表
ws.add_chart(chart_obj, "E1")
wb.save('output_openpyxl_chart.xlsx')

在上述代码片段中，我们创建了一个柱状图，并将其添加到了工作表的E1单元格位置。然后我们保存了包含图表的Excel文件为 output_openpyxl_chart.xlsx 。

总结起来，无论是 pandas 还是 openpyxl ，它们都提供了非常强大的功能来将合并后的数据输出到Excel文件中，并且通过自定义参数和格式设置，可以非常灵活地满足各种复杂的输出需求。

本文还有配套的精品资源，点击获取 menu-r.4af5f7ec.gif

简介：在IT领域，数据处理中合并Excel文件是一项基本需求。本文详述了使用Python中的 pandas 和 openpyxl 库来合并多个Excel工作簿或工作表的方法。介绍了如何安装和使用这些库，提供了示例代码，说明了如何读取Excel文件、追加数据到DataFrame，最后将合并后的数据输出到一个新的Excel文件中。同时指出合并过程中可能遇到的内存消耗问题，并提出潜在的解决策略。


本文还有配套的精品资源，点击获取
menu-r.4af5f7ec.gif

十三木
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值