DataFrame.merge()数据拼接导致数据维度增加？？

最新推荐文章于 2024-06-14 16:41:27 发布
原创 最新推荐文章于 2024-06-14 16:41:27 发布 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博主处理数据拼接时，两个含1488条数据的df文件因公共列存在重复值，导致merge后记录增多。博主将第二个df的特征逐个插入第一个df，同时询问是否有更快的处理办法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天在处理数据的时候，进行数据拼接，两个包含1488条数据的df文件

同时两个df有公共列(因为害怕是公共列数据不一致原因导致维度发生变化，专门重新设置了一遍)

merge：

原因是：

公共列中存在重复值，第一列是公共列元素取值，第二列是每个元素出现的次数：

在merge的过程中，第一个df中的每个记录会与第二个df中所有与它有相同index值的记录拼接起来，所以上面的三个各重复两次的记录会与第二个表中具有与它相同的index的记录拼接生成两个记录，导致最终前三个记录生成了2*2*3=12条记录，去掉原本应该生成的6条记录，多个6条。

所以最后我将第二个df 中的所有特征一次插入第一个df中。

这种情况下有什么更快的处理办法吗？

一文速学(十四)-数据分析之Pandas处理DataFrame稀疏数据及维度不匹配数据详解
master_hunter的博客
08-13 2039
众所周知我们获取的第一手数据往往都是比较杂乱无章的，这些文件保存一般都是csv文件或者是excel文件，读取转换成DataFrame还有可能因为缺少列索引或者是各类数据维度不相等而报错。Pandas的基础数据结构Series和DataFrame。一文速学-数据分析之Pandas数据结构和基本操作代码一文速学-Pandas实现数值替换、排序、排名、插入和区间切片DataFrame行列表查询操作详解+代码实战一文速学-Pandas索引重塑实现长宽表数据转换。...
零基础上手Python数据分析 (13)：DataFrame 数据合并与连接 - 整合多源数据，构建完整分析视图
kakaZhui的博客
04-12 898
— 告别 VLOOKUP 烦恼，掌握 Pandas 合并连接利器，轻松整合分散数据在前面的博客中，我们学习了如何读取数据、清洗数据、选取数据。现在，我们已经能够处理单个 DataFrame 中的数据了。然而，在实际的数据分析项目中，数据往往不是存储在一个单独的文件或表格中，而是分散在多个不同的数据源中。数据整合的挑战：打通数据孤岛包含订单编号、订单日期、客户ID、商品ID、订单金额等。包含客户ID、客户姓名、客户城市、注册日期等。包含商品ID、商品名称、商品类别、商品单价等。
使用pd.merge进行表连接，出现多余行的问题
yefan_001的博客
05-06 1998
本文的目标是将表1论文及出版物与表2出版物及其指标进行匹配。 利用pandas的merge函数实现表的左外连接。左外连接即左表的外连接，左表保持不变，匹配右表的行（合并后右表肯能存在空值）。 paperPublicationIndicator = pd.merge(paperPublication,publicationIndicator, how='left',left_on='出版物',right_on='名称',sort=False) 结果发现连接后表多出来13行。进行探究发现是表2出版
pandas 7 合并 merge 水平合并，数据会变宽
轮子去哪儿了
02-26 580
pandas 7 合并 merge 水平合并，数据会变宽 pd.merge( df1, df2, on=['key1', 'key2'], left_index=True, right_index=True, how=['left', 'right', 'outer', 'inner'], indicator='indicator_column', suffixes=['_boy', '_gir...
python 数据框合并之后行变多了_python – pandas：merged(内部联接)数据框的行数多于原始行...
weixin_42309599的博客
01-28 3662
我在Jupyter Notebook上使用python 3.4,尝试合并两个数据框,如下所示：df_A.shape(204479, 2)df_B.shape(178, 3)new_df = pd.merge(df_A, df_B, how='inner', on='my_icon_number')new_df.shape(266788, 4)我认为上面合并的new_df应该比df_A少几行,因为...
dataframe 指定列 增加二维列表数据增加多列数据
Caiqiudan的博客
05-16 603
length = len(data['data']['item']) # 长度 data['data']['item'] = np.insert(data['data']['item'],0,[stock_name]*length, axis=1) # 添加股票名称 data['data']['item'] = np.insert(data['data']['item'],0,[name]*length, axis=1) # 添加股票代码 sd = sd.append(data
python 数据框合并之后行变多了_Python：熊猫合并了多个数据框
weixin_39565777的博客
01-13 454
I have diferent dataframes and need to merge them together based on the date column. If I only had two dataframes, I could use df1.merge(df2, on='date'), to do it with three dataframes, I use df1.merg...
Pandas常见方法（4）-DataFrame数据的拓展，拼接与常见统计量
dylan_young的博客
01-03 4111
Python数据分析摘要（2） 声明：以下内容都是基于python3.8版本。 文章目录前言一、pandas.DataFrame在index或column两个维度上的拓展二、pandas.DataFrame的join和group方法三、pandas.DataFrame的常用统计方法总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一
pandas ---- pd.DataFrame基本用法
smalltorch的博客
06-14 6838
本部分主要介绍一些注意事项。另外，series是基础，好多用法都是series扩展一下，很类似的。pandas的一些常见用法已经写的很详细了，后面还会继续慢慢完善该博客。
Pandas数据分析④——数据规整2（数据拼接/透视)
cindy407的博客
06-06 1952
数据规整是在数据清洗完毕后，将其调整成适合分析的结构，为后续的深入分析作准备，主要分为以下几类： 索引和列名调整： 设定新索引，筛选想要的列，更改列名 数据排序：根据索引或列进行排序 数据格式调整：更改数据类型，更改数据内容（去除空格标点符号/截取/替换/统一数据单位等），增加用于分析的辅助列 数据拼接：行堆叠和列拼接 数据透视：行或列维度转换 上一篇介绍前3种，本篇介绍后2种 一、数据拼接 1、...
“pandas中的按列合并两个DataFram后行数增多“的解决办法
Hi_hai_Feng的博客
01-07 4858
定义两个Dataframe df1 = pd.DataFrame(data=[[1, 2, 3], [4, 5, 6], [7, 8, 9]], columns=['a', 'b', 'c'], index=[0, 1, 2]) df2 = pd.DataFrame(data=[[11], [22], [33]], columns=['d'], index=[1, 2, 3]) 按列合并 df = pd.concat([df1, df2], axis=1) 结果按我预想的应该是三行，但是结果却是4
Pandas 合并多个Dataframe（merge,concat）
热门推荐
chixujohnny
03-29 13万+
在数据处理的时候，尤其在搞大数据竞赛的时候经常会遇到一个问题就是，多个表单的合并问题，比如一个表单有user_id和age这两个字段，另一个表单有user_id和sex这两个字段，要把这两个表合并成只有user_id、age、sex三个字段的表怎么办的，普通的拼接是做不到的，因为user_id每一行之间不是对应的，像拼积木似的横向拼接肯定是不行的。pandas中有个merge函数可以做到这个实用的
python合并excel出现多余列等问题
weixin_50626279的博客
10-28 1495
python合并excel
pandas学习笔记—dataframe中的数据类型和相互转换
sunmingyang1987的博客
05-17 6854
常见的dataframe中的数据类型包括以下： Data type Description datetime64[ns] 这应该是numpy中的一种时间数据类型 str 字符类型 object 一种通用的数据类型，在没有明确指定类型下，所有数据都可认为是object类型 bool_ Boolean (True or False) stored as a byte int_ Default integer type (same as C long; normally either in
Pandas的数据结构--DataFrame
qq_20880939的博客
07-14 530
Pandas中的DataFrame的创建，与Series差不多，在原来的基础上增加了一个维度。 在DataFrame上的行索引为index,列索引为columns,需要索引时可以使用 当然我们也可以自定义其索引 在重新定义索引时，重新对index与columns重新定义。。 ------------------------------------- 通过字典形式创建DataFra...
DataFrame 数据合并，连接（merge,join,concat)
Han_kin的专栏
08-25 8616
作者：lianghc 连接：http://blog.csdn.net/zutsoft/article/details/51498026 merge  通过键拼接列 pandas提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同DataFrame中的行连接起来 语法如下[python] view plain copy pri
Pandas Panel 按不同维度添加数据的方法
u010030977的博客
04-12 6952
最近参加数据挖掘比赛经常使用Pandas，由于涉及到三维的数据，使用了Panel作为存储结构。但是出现了伪增加的情况，花了很久解决了。 Panel相当于一个存储Dataframe的字典 Series一维、Dataframe二维、Panel三维 问题描述 data = { 'Item1' : pd.DataFrame(np.random.randn(4, ...
DataFrame对象的merge函数使用小结
On_theway10的博客
01-26 966
NBA_basic_dataset: +-------------+-----------+---------+--------+--------+ | name | team | poision | height | weight | +-------------+-----------+---------+--------+--------+ | jordan...
python pandas.merge()实现两个dataframe连接
小狐狸
02-09 8588
merge: 合并数据集， 通过left， right确定连接字段，默认是两个数据集相同的字段 参数 说明 left 参与合并的左侧DataFrame right 参与合并的右侧DataFrame how 连接方式：‘inner’（默认，内连接）；还有，‘outer’（全连接）、‘left’（左连接）、‘right’（右连接） on 用于连接的列名，必须同时存在于左右两个DataFrame对象中...
pd.merge函数详解
最新发布
04-19
<think>好的，用户现在想详细了解pandas中的pd.merge函数，包括使用指南和参数详解。我之前已经回复过关于df.index.repeat的问题，现在需要根据用户的新请求调整内容。用户还提供了三个引用，但看起来这些引用主要讨论pd.merge的用法，可能来自之前的对话或资料。不过用户提到这些引用仅供参考，需要结合他们上一次的问题和我的回答来处理。 首先，我需要回顾用户的上一个问题，即关于df.index.repeat的详细解析。那个问题涉及到数据复制和索引操作，现在用户转向数据合并，这可能是因为他们在处理数据时需要整合不同的数据集。用户可能正在处理多个数据源，需要合并数据，所以需要深入理解pd.merge的参数和用法。 接下来，我需要组织pd.merge的详细指南。用户希望参数详解和使用示例，所以我应该按照逻辑顺序介绍每个参数，并给出示例说明。同时，结合用户提供的引用内容，尤其是引用[3]中的参数列表，我需要确保覆盖所有参数，并解释清楚每个的作用。 需要注意的是，用户可能在合并数据时遇到常见问题，比如键的选择、合并方式（inner、outer、left、right）、处理重复列名等。我应该强调这些常见问题，并提供解决方案，比如使用on参数指定键，或使用suffixes处理后缀。 另外，用户可能对pd.merge与pd.concat的区别有疑问，虽然他们现在只问了merge，但适当比较可以帮助他们更好地选择合适的方法。不过根据引用[2]，用户可能已经知道这一点，所以可以简要提及，但重点还是放在merge上。 还要考虑用户的实际应用场景，比如多键合并、处理索引合并等，给出相应的示例。例如，使用left_index和right_index参数在索引上进行合并，或者处理多对多关系时的注意事项。 最后，要确保回答结构清晰，分点说明，参数部分用表格展示可能更直观，代码示例要正确且易于理解。同时，生成的相关问题需要与pd.merge相关，帮助用户进一步探索可能遇到的问题，比如性能优化、处理冲突或合并后的数据验证等。</think>以下是基于Pandas官方文档和实际应用总结的`pd.merge()`函数深度解析： --- ### 一、核心功能定位 `pd.merge()`是Pandas实现**数据库风格合并**的核心方法，支持基于列/索引的关联操作，适用于处理关系型数据连接需求，相当于SQL的`JOIN`操作[^1][^2]。 --- ### 二、参数详解与使用场景 #### 基础参数 | 参数 | 类型 | 默认值 | 作用 | 示例场景 | |------|------|--------|------|----------| | `left` | DataFrame | - | 左数据集 | 客户信息表 | | `right` | DataFrame | - | 右数据集 | 订单记录表 | | `on` | str/list | None | 连接键列名 | `on='user_id'` | | `left_on` | str/list | None | 左表连接键 | 左表键为`client_id`时使用 | | `right_on` | str/list | None | 右表连接键 | 右表键为`customer_id`时使用 | | `how` | str | 'inner' | 合并方式 | `how='left'`保留所有左表记录 | #### 高级控制参数 | 参数 | 类型 | 说明 | 典型应用 | |------|------|------|----------| | `left_index` | bool | False | 使用左表索引作为连接键 | 时间序列对齐 | | `right_index` | bool | False | 使用右表索引作为连接键 | 索引值匹配合并 | | `suffixes` | tuple | ('_x','_y') | 列名冲突时的后缀 | `suffixes=('_left','_right')` | | `indicator` | bool/str | False | 添加合并来源标记列 | 调试合并结果时使用 | | `validate` | str | None | 检查合并类型是否合法 | 确保一对一关系时用`'1:1'` | --- ### 三、合并模式(`how`)详解 | 模式 | SQL等价 | 行为 | 适用场景 | |------|---------|------|----------| | `inner` | INNER JOIN | 仅保留键匹配的行 | 精确数据对齐 | | `left` | LEFT JOIN | 保留左表全部记录 | 主从表关联 | | `right` | RIGHT JOIN | 保留右表全部记录 | 逆向主从关联 | | `outer` | FULL OUTER JOIN | 保留所有记录 | 数据完整性检查 | | `cross` | CROSS JOIN | 笛卡尔积 | 组合分析 | --- ### 四、实战示例 #### 1. 基础列合并 ```python left = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]}) right = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]}) # 内连接 pd.merge(left, right, on='key', suffixes=('_left', '_right')) ``` 输出： ``` key value_left value_right 0 B 2 4 1 C 3 5 ``` #### 2. 索引合并 ```python # 左表用索引，右表用列 pd.merge(left, right, left_index=True, right_on='key') ``` #### 3. 多键合并 ```python pd.merge(df1, df2, on=['department', 'year'], how='outer') ``` --- ### 五、关键注意事项 1. **键值匹配** - 默认寻找**列名相同的键**，建议显式指定`on`参数 - 混合使用列和索引时需同时设置`left_on`+`right_index` 2. **重复值处理** - 当键列存在重复值时会产生多对多合并（类似笛卡尔积） - 使用`validate='1:m'`可验证关系类型 3. **性能优化** - 对连接键预先排序可提升速度`df.sort_values(key)` - 大数据集合并优先使用`dask.dataframe` --- ### 六、与`pd.concat()`对比 | 特性 | `pd.merge()` | `pd.concat()` | |------|--------------|---------------| | 合并维度 | 列对齐 | 行/列堆叠 | | 键匹配方式 | 基于列值 | 基于索引/位置 | | 典型场景 | 关系型数据连接 | 数据块拼接 | --- --相关问题--: 1. 如何处理合并后的列名冲突？[^3] 2. 如何实现多对多合并的数据验证？[^4] 3. 合并时出现NaN值应该怎么处理？[^5] 4. 如何提升大规模数据合并的性能？[^6]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值