Python3：按某列ID合并两个Excel的数据(python实现)

最新推荐文章于 2023-05-29 20:56:11 发布
原创 最新推荐文章于 2023-05-29 20:56:11 发布 · 5.3k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#excel #python

当Excel数据量大且字段众多，Vlookup效率低下时，可以使用Python进行按ID列合并。通过确保两Excel文件存在相同的ID列，利用Python脚本实现高效合并。

字段量少的话，可以用Vlookup进行匹配，但如果数据量大，而且字段很多的时候，vlookup可能会把我累si
按某列ID合并两个Excel的数据，首先两个excel中要有相同的一列值，才能将这两个表合并起来，合并代码如下：

# -*- coding: utf-8 -*-
"""
Created on Fri Jul 17 16:50:20 2020

"""
#按行匹配两个excel中的数据，以左边的表为基准
import pandas as pd
datainfo1 = pd.read_excel(r'D:\Users\DUANPT\Desktop\datainfo1.xlsx')
ort = pd.read_excel(r'D:\Users\DUANPT\Desktop\ort.xlsx')

outer=pd.merge(
最低0.47元/天 解锁文章
python编程——A、B两个Excel表，数据根据指定值存在一对多的关系，将数据的关系找出来并合并两个表的数据
c1007857613的专栏
02-16 3141
python编程——A、B两个Excel表，数据根据指定值存在一对多的关系，将数据的关系找出来并合并两个表的数据
Python将两个Excel文件按相同字段合并到一起
星空椰
09-01 1300
在工作中我们需要将两个有关联的数据文件合并成一个Excel
python将两个excel匹配_希望通过ID将两个Excel文件合并为一个使用Python 2.7的Excel文件...
weixin_39904809的博客
12-20 504
I am new to the Python family and have been trying to solve merge two Excel files for days. I have researched merging endlessly and tried to adapt my code to fit my needs, but it hasn't been working....
Python实现数据按ID合并（同EXCEL中Vlookup函数实现数据横向合并）
qq_35189025的博客
03-05 5378
EXCEL中Vlookup函数实现数据横向合并，SAS中也是用merge实现横向合并，SQL中则是内连接inner join 左连接和右连接，意义都是等同的。 如下为python中的根据关键词合并代码: import pandas as pd #路径中文则加r，econding指定读取带文本的文件 data1 = pd.read_excel('1.xlsx',encoding = 'utf-8'...
Python实现数据库中根据主键ID进行数据合并拼接
weixin_40547993的博客
11-07 5102
在同一个数据库中，有两张表，主表主键为id，第二张表的主键为pid（id与pid为通用主键，只是在不同的表中可能命名不一样）。这里是以第二张表为中心，根据pid与主表中的id进行匹配，获取某个字段信息，例如身份证号，进行合并拼接，具体代码实现如下： import psycopg2 import pandas as pd import os import json def ge...
python pandas合并多个excel_按ID合并两个Excel文件，并合并同名列（python、pandas）...
weixin_39695701的博客
12-04 1357
好的，这里有一个更动态的方法，在合并之后，我们假设会发生冲突并导致“column_name_x”或“u y”。所以首先找出常用的列名并从列表中删除'ID'In [51]:common_columns = list(set(list(df1.columns)) & set(list(df2.columns)))common_columns.remove('ID')common_columns...
代码Python实现Excel数据合并
07-11
# 合并两个数据框，基于共同的'ID'列 merged_df = pd.concat([df1, df2], axis=0, ignore_index=True) ``` 这里，`axis=0`表示沿行方向（垂直）合并，`ignore_index=True`是为了重置合并后的数据框的索引。 如果两...
Python读取Excel一列并计算所有对象出现次数的方法
09-16
在Python编程中，处理Excel数据是一项常见的任务，特别是在数据分析领域。本文将详细介绍两种方法来读取Excel文件中的一列，并计算其中所有对象出现的次数。这两种方法都涉及到使用pandas库，一个强大的数据处理库，...
python做excel多表按列合并_利用 Python 进行多 Sheet 表合并、多工作簿合并、一表按列拆分...
weixin_35706281的博客
01-29 1233
作者：黄伟来源：杰哥的IT之旅(ID：Jake_Internet)转载请联系授权(WeChat ID：Hc220066)一、相关知识点讲解1、需要使用的相关库1import numpy as np2import pandas as pd3import os2、os.walk(pwd)图片举例如下① 先来看看"G:\a"文件夹下有哪些东西。② 代码操作如下：1pwd = "G:\\a"2print(...
python处理两个Excel并且根据相同字段合并写入一个新的Excel
一夜白头催人泪
06-14 4070
代码可以继续优化，目前不是最优
提取excel表格特定列合并到一个excel中
weixin_43355949的博客
08-15 3245
小白开始记录自己的代码之路 第一天实习，交给了我55个表格，要求把身份证号和序号全部粘贴到新的表格里。做了2个小时，接下来又是55个表格…于是燃起了编程的欲望。 学过一些些基础的python，于是决定用python试试。 绝对保姆级教程。适合超级超级新手。（也就是说很啰嗦… …） 注意代码，新建表格和要读取的表格都要放到一个目录下，不然要加路径。 应用的是anaconda 的 Spyder 导入新...
python依据相同字段实现两个excel文件（dataframe）合并
数据杂坛
05-06 4784
python依据相同字段实现两个excel文件（dataframe）合并（附代码）
python做excel表格合并_Python实战：合并 Excel 表格
weixin_42169971的博客
01-29 3259
原标题：Python实战：合并 Excel 表格 首先是需求一：有 表 A.xlsx 和 表 B.xlsx，想将其纵向合并成同一张表格: 以及需求二：想在 表 C.xlsx 中提取第三列、在 表 D.xlsx 中提取前两列，整合成新的表格： 如果不用编程，纯手工操作其实并不难，选中区域、复制再粘贴就搞定了。工作量小的情况下，手工操作一番还挺快乐的；但如果文件几十上百份、甚至成百上千的话就一言难尽了...
Excel匹配两个sheet列合并两个cvs文件用Python实现Excel中的Vlookup功能
weixin_46911611的博客
05-29 478
我们经常会遇到需要将两张Excel或Csv数据表通过sheet中关键字或者列名进行关联，从而匹配对应数据的情况。使用Excel的Vlookup函数可以解决这个问题，但当数据量较大时，容易导致计算机无响应，甚至出现数据丢失。根据sqm20230529.csv文件中的SUBSCRIBERID列，去VRS20230529.csv文件中查找SUBSCRIBERID列，如果能匹配相同的数据，则将中的PAIDUSERID列插入到sqm20230529.csv中的最后一列，PAIDUSERID为新增的一列。
python提取不同excel表中的指定列合并写入新的excel表
weixin_46080995的博客
01-19 2477
python提取不同excel表中的指定列合并写入新的excel表
合并主键相同的两张excel表
weixin_42070039的博客
06-27 6552
表1： 表2： 合并后： 将表2的数据插入表1中，相当于左连接 1、在表1中添加要插入的列名（本例为score） 选中这一列下的一个单元格 选择公式->插入函数->VLOOKUP->确定 2、lookup_value选择表1的主键列（本例为ID） 3、table_array选择表2中主键列（与表1主键相同的列）以及要插入的列 4、c...
利用python进行excel格式处理并关联
hanxiucao_yes的博客
05-07 981
import pandas as pd # 1.第一个excel文件和处理过程，如果读其他sheet需加参数如,sheet_name='test' excel_data=pd.read_excel('/Users/PycharmProjects/test_file/test01.xlsx') # print(excel_data.columns) # print(excel_data) # 对备注列单元格内根据换行符分割 df1=excel_data['备注'].str.split('\n',expa.
使用Python合并excel表——简单
qq_51458770的博客
11-21 2679
主要是在记录怎么使用pyhon语言操作excel表格，实现对多个excel表格的合并，方法特别简单。
Excel中ID相同对应表格内容进行合并
weixin_45145283的博客
07-03 3887
Execl中相同ID对应内容合并
python按列拼接两个excel表格带表头
最新发布
06-25
<think>我们有两个Excel文件，每个文件都有表头（即第一行是列名），我们希望按列拼接这两个文件。按列拼接意味着：将第二个文件的列添加到第一个文件的右侧。要求两个文件的行数相同，且行顺序一致（即每一行代表同一条记录）。如果两个文件行数不同，我们可能需要处理这种情况（例如填充NaN或截断），但问题中没有明确，我们假设行数相同。步骤：1.读取两个Excel文件，得到两个DataFrame。2.检查两个DataFrame的行数是否一致。如果不一致，我们可以选择截断或填充，但这里我们先假设一致，如果不一致则报错或处理（根据需求）。3.按列拼接：使用pandas的concat函数，设置axis=1（按列拼接）。4.注意：如果两个文件有相同的列名，那么拼接后会出现重复列名。我们可以选择重命名或保留，但问题要求按列拼接，所以通常我们期望两个文件的列名是不同的。如果列名有重复，可能需要处理（例如添加后缀）。5.将拼接后的DataFrame写入新的Excel文件。但是，根据引用[3]和引用[4]中的方法，它们都是按行合并（即上下堆叠），而我们需要的是按列合并（左右拼接）。因此，我们需要使用axis=1。另外，引用[2]中提到可以选择需要合并的列，但我们这里不需要选择列，而是全部按列拼接。代码示例：假设两个文件：file1.xlsx和file2.xlsx，它们位于同一目录下。注意：两个Excel文件的行数必须相同，且行顺序一致（即第1行对应，第2行对应，以此类推）。如果行顺序不一致，那么按列拼接会导致数据错乱。如果两个文件的行顺序不一致，但有一个共同的键（比如ID列），那么我们应该先按该键排序或合并。但问题没有提到，所以我们假设行顺序一致。如果两个文件的行数不同，我们可以选择只保留行数相同的部分（取最小行数），或者对行数少的进行填充（例如填充NaN）。这里我们取行数相同，如果不同则报错。代码实现：步骤：1.读取两个文件。2.检查行数，如果行数不同，则取最小的行数（截断），或者报错。这里我们选择截断至最小行数（使用.iloc）。3.按列拼接。但是，如果两个文件有相同的列名，拼接后会有重复列。我们可以通过添加后缀来区分，或者直接覆盖？问题没有明确，这里我们不做处理（即允许重复列名），但通常需要避免重复列名。我们可以使用concat函数的参数来处理重复列名的问题，但concat默认不会自动添加后缀。如果需要添加后缀，可以在concat中设置keys，然后通过多级列索引来区分，或者使用join=&#39;inner&#39;或&#39;outer&#39;，但这里我们不需要。另一种方法是，在拼接前检查列名是否有重复，如果有重复，则对第二个文件的列名进行重命名（例如添加后缀）。这里，我们采用：如果列名重复，则对第二个文件的列名添加后缀“_2”。具体步骤：1.读取两个文件，得到df1和df2。2.检查df1和df2的列名是否有重复，将df2的列名重命名：如果列名在df1中出现，则添加后缀&#39;_2&#39;，否则保留。3.调整行数：取两个数据帧的最小行数，然后截断。4.按列拼接。但是，问题中要求按列拼接，且没有提到重命名列，所以我们可以先不处理列名重复的情况，让用户自己注意。或者，我们输出警告。为了代码的健壮性，我们处理列名重复的情况：对df2的重复列名添加后缀。另外，我们也可以不截断行数，而是用NaN填充。这里我们选择截断（即只保留行数相同的部分）。方案：1.读取两个文件。2.将df2的列名改为不重复的（相对于df1）。3.将两个数据帧的行索引重置（避免索引不一致导致拼接错误），然后取两个数据帧中行数的最小值，截取相同行数。4.使用pd.concat([df1,df2],axis=1)进行拼接。代码：注意：我们假设两个文件只有一个sheet，且都是第一个sheet。如果有多个sheet，需要指定sheet_name。由于问题没有提到多个sheet，我们默认读取第一个sheet。具体代码：我们先处理列名重复的问题：对df2，如果某一列列名在df1的列名中出现，则将该列重命名为“列名_2”，否则不变。然后，我们取两个数据帧的最小行数，截断。最后拼接。示例代码：```pythonimportpandasaspd#读取两个Excel文件file1="file1.xlsx"file2="file2.xlsx"df1=pd.read_excel(file1)df2=pd.read_excel(file2)#处理df2的列名，避免与df1重复#创建一个新的列名列表new_columns=[]forcolindf2.columns:ifcolindf1.columns:new_columns.append(col+&#39;_2&#39;)else:new_columns.append(col)df2.columns=new_columns#调整行数：取最小行数min_rows=min(len(df1),len(df2))df1=df1.iloc[:min_rows]#截取前min_rows行df2=df2.iloc[:min_rows]#按列拼接result=pd.concat([df1,df2],axis=1)#输出到新的Excel文件result.to_excel("merged_file.xlsx",index=False)```但是，上述代码中，我们直接修改了df2的列名，并且只对重复的列添加了后缀。这样处理可以避免列名重复。另外，我们截断了多余的行（从第0行到min_rows-1行）。如果用户希望保留所有行（用NaN填充缺失部分），那么我们可以不截断，而是使用concat自动对齐索引（但要求索引一致）。由于我们重置了索引（通过iloc截断实际上索引是0到min_rows-1，所以是连续的），所以直接拼接即可。但是，如果我们不截断，那么行数多的部分在另一个数据帧中会填充NaN。但这样拼接后，行数多的文件后面的行在另一个文件对应的列都是NaN。我们可以提供两种选择：截断或填充NaN。这里我们先按照截断的方式。如果用户希望填充NaN，那么可以这样：不进行截断，而是先重置索引（drop=True），然后拼接，这样会自动按索引对齐。但是，由于两个文件行数不同，拼接后，行数少的文件对应的列在后面的行会出现NaN。修改代码（填充NaN）：```pythonimportpandasaspdfile1="file1.xlsx"file2="file2.xlsx"df1=pd.read_excel(file1)df2=pd.read_excel(file2)#处理列名重复new_columns=[]forcolindf2.columns:ifcolindf1.columns:new_columns.append(col+&#39;_2&#39;)else:new_columns.append(col)df2.columns=new_columns#重置索引（避免因为索引不一致导致concat按索引对齐时出现混乱，这里我们不需要，因为concat默认按索引对齐）#如果两个文件的索引都是0,1,2,...，那么可以直接拼接。#但是，如果索引有重复或不连续，那么按索引对齐可能会错乱。所以，我们重置索引，并丢弃原索引。df1.reset_index(drop=True,inplace=True)df2.reset_index(drop=True,inplace=True)#按列拼接，会自动按索引对齐（索引都是0,1,2,...，所以对齐没有问题）result=pd.concat([df1,df2],axis=1)#输出result.to_excel("merged_file.xlsx",index=False)```这样，如果两个文件行数不同，那么行数多的文件后面的行在另一个文件对应的列上就是NaN。但是，问题要求按列拼接，且两个文件的行顺序一致，所以这里我们假设两个文件的行顺序一致，且索引重置后能够对应。因此，我们选择第二种方法（填充NaN）可能更通用，因为可以处理行数不同的情况，且不会丢失数据。所以，我们推荐第二种方法。但是，如果用户要求行数必须相同，那么可以在拼接前检查行数，如果不相同则报错。这里我们提供通用的方法（允许行数不同，用NaN填充）。因此，最终代码：```pythonimportpandasaspd#文件路径file1="file1.xlsx"file2="file2.xlsx"#读取df1=pd.read_excel(file1)df2=pd.read_excel(file2)#为了避免列名重复，修改df2的列名（如果列名在df1中出现，则添加后缀&#39;_2&#39;）new_columns=[]forcolindf2.columns:ifcolindf1.columns:new_columns.append(col+&#39;_2&#39;)else:new_columns.append(col)df2.columns=new_columns#重置索引，确保索引是0,1,2,...的连续整数，这样concat按列拼接时会按行号对齐df1.reset_index(drop=True,inplace=True)df2.reset_index(drop=True,inplace=True)#按列拼接result=pd.concat([df1,df2],axis=1)#保存result.to_excel("merged_file.xlsx",index=False)```注意：如果两个文件的行顺序不一致，那么按行号对齐会导致数据错乱（即第一行与第一行拼，第二行与第二行拼，但实际这两个第一行不是同一条记录）。因此，用户必须确保两个文件的行顺序一致。如果不一致，应该先按照某个共同的关键列排序或匹配。如果用户有共同的关键列，那么应该用merge（类似数据库的join）而不是按列拼接。但是问题要求按列拼接，所以我们假设行顺序一致。因此，我们按照上述代码即可。如果两个文件没有行顺序一致，但有一个共同的关键列（比如ID），那么我们应该使用merge：例如：```pythonresult=pd.merge(df1,df2,on=&#39;ID&#39;,how=&#39;outer&#39;)```但问题要求按列拼接，所以我们不采用merge。综上所述，我们提供了按列拼接的代码。另外，如果两个文件有多个sheet，我们可以指定sheet_name，或者循环处理。但问题没有提到，所以我们按单个sheet处理。如果用户需要合并多个sheet，那么需要分别读取每个文件的同一个sheet，然后拼接。最后，生成相关问题。相关问题：1.如果两个Excel文件的行顺序不一致，但有一个共同的ID列，如何按列合并？2.如何按列合并多个（超过两个）Excel文件？3.合并Excel文件时，如何避免列名重复的问题（不添加后缀）？4.如何按列合并Excel文件的不同sheet？5.在按列合并后，如何去除重复的列（基于列内容）？</think>### Python按列合并两个带表头的Excel文件 要按列合并两个带表头的Excel文件（横向拼接），可以使用Pandas库的`concat()`函数并设置`axis=1`参数。以下是完整实现方案： ```python import pandas as pd # 读取两个Excel文件 df1 = pd.read_excel(&#39;文件1.xlsx&#39;) # 替换为实际路径 df2 = pd.read_excel(&#39;文件2.xlsx&#39;) # 替换为实际路径 # 检查并处理列名重复 df2_columns = [col + &#39;_2&#39; if col in df1.columns else col for col in df2.columns] df2.columns = df2_columns # 按列横向合并 merged_df = pd.concat([df1, df2], axis=1) # 保存合并结果 merged_df.to_excel(&#39;合并结果.xlsx&#39;, index=False) ``` ### 关键步骤说明： 1. **读取文件**：使用`pd.read_excel()`分别加载两个Excel文件 2. **处理列名冲突**： - 检测`df2`中与`df1`重复的列名 - 自动添加`_2`后缀避免列名冲突 3. **横向合并**：`pd.concat([df1, df2], axis=1)`实现按列拼接 4. **保存结果**：输出到新Excel文件，`index=False`避免生成额外索引列 ### 处理特殊情况的建议： 1. **行数不一致**： ```python # 取最小行数对齐 min_rows = min(len(df1), len(df2)) merged_df = pd.concat([df1.iloc[:min_rows], df2.iloc[:min_rows]], axis=1) ``` 2. **保留原始列名**（如需避免自动重命名）： ```python merged_df = pd.concat([df1, df2], axis=1, ignore_index=True) ``` 3. **多Sheet合并**： ```python with pd.ExcelWriter(&#39;合并结果.xlsx&#39;) as writer: for sheet_name in sheet_list: # 对每个sheet执行合并操作 merged_df.to_excel(writer, sheet_name=sheet_name) ``` ### 注意事项： - 确保两个文件行顺序对应，否则会导致数据错位 - 大文件处理建议使用`chunksize`参数分块读取 - 合并后检查数据类型，可使用`df.info()`查看 - 原始文件不会被修改，操作在新文件进行 > 引用说明：此方法基于Pandas的`concat()`函数实现横向合并[^1][^2]，并参考了列名冲突处理的最佳实践[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值