python合并相关函数（concat、merge、append、join）

最新推荐文章于 2024-06-09 09:19:03 发布
最新推荐文章于 2024-06-09 09:19:03 发布
阅读量1.6k 收藏 6
点赞数
文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46411851/article/details/132599042
版权

在python表格操作过程中常涉及到，表格相互拼接和合并问题。pandas模块为我们提供了很强大的合并功能，常用的方法有concat, append, merge, join。

四种函数具体如下：

一、concat

df=pandas.concat(objs, *, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=False, copy=None)

concat是”contatenate"的缩写，指的是多表之间的“拼接”。该函数能够沿指定轴执行连接操作，同时对其他轴上的索引(如果有的话，Series 只有一个轴)执行可选的集合运算(并集或交集)

其中：

  • objs: 指的是要合并的series，dataframe或者是panel构成的序列lsit
  • axis： 指的是拼接的方向即合并连接的轴，axis = 0指的是拼接行（向下拼接），axis = 1指的是拼接列（向右拼接）
  • join：表示“如何拼接”。由于两表中的信息可能是不同的，所以要设置这个参数以表明拼接方式。其中，outer表示取并集，inner表示取交集。默认是outer
  • ignore_index: 指的是拼接后是否忽视原df各自的索引。比如，假如我们按行拼接，原来df1中有五条数据，索引是0,1,2,3,4。原来的df2中也有五条数据，索引也是0,1,2,3,4。如果我们在合并时，将ignoreindex的值设为False，那么拼接后df的索引就是0,1,2,3,4,0,1,2,3,4。那么如果将ignore_index的值设为True, 那么拼接后df的索引就是0,1,2,3,4,5,6,7…
  • join_axes：如果有join_axes的参数传入，可以指定根据那个轴来对齐数据
  • keys：前面提到的keys参数可以用来给合并后的表增加key来区分不同的表数据来源

二、append

append是series和dataframe的方法，使用它就是默认沿着列进行拼接，append可以视作axis=0的，简便版的concat。也就是说，它只支持行拼接，同时比concat简便一些。这里要注意和concat的用法区别。concat是pd的属性，所以调用的时候应该是pd.concat((df1,df2))，而append是对DataFrame的方法，所以调用的时候是DataFrame.append(df2)

x=df.append(other, ignore_index=False, verify_integrity=False, sort=None)

参数说明：

  • other:要追加的数据,可以是dataframe,series,字典，列表
  • ignore_index:两个表的index是否有实际含义，默认为False，若ignore_index=True，表根据列名对齐合并，生成新的index
  • verify_integrity:默认为False,若为True,创建具有重复项的索引时引发ValueError
  • sort：默认为False，若为True如果’ self ‘和’ other '的列没有对齐，则对列进行排序。

三、merge

merge与concat不同，merge是根据两个表的具体的键来进行匹配合并，而concat是根据轴的具体方向进行合并不会有匹配过程。

df=DataFrame.merge(left,right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=None, indicator=False, validate=None)

参数：

  • left: 拼接的左侧DataFrame或命名的Series对象
  • right: 拼接的右侧DataFrame对象
  • on: 表示按照两个dataframe按某一列来进行合并，该列必须同时出现在两个dataframe中。如果未传递且left_index和right_index为False，则DataFrame中的列的交集将被推断为连接键。
  • left_index: 如果为True，则使用左侧DataFrame中的索引（行标签）作为其连接键的列。对于具有MultiIndex（分层）的DataFrame，级别数必须与右侧DataFrame中的连接键数相匹配。
  • right_index: 与left_index功能相似。
  • how: {‘left’, ‘right’, ‘outer’, ‘inner’,‘cross’}, default ‘inner’ 默认为合并两个frame的交集连接方式。inner使用两个frame中关键点的交集，类似于SQL内连接；left是以左frame中的键为基础，匹配另外的frame中的键，类似于SQL左外连接；right是以右frame中的键为基础，匹配另外的frame中的键，类似于SQL右外连接；outer取其并集，如果其中一个dataframe中的连接键列中不含有某元素，则该元素对应的这行数据中的其它列用NAN填充,类似SQL的full outer join中的全连接；cross创建两个DataFrame的笛卡尔积，默认保留左边的顺序，类似于SQL中的cross join。
  • left_on:左侧DataFrame中用作连接键的列。 可以是列名，索引级名称，也可以是长度等于DataFrame长度的数组。
  • right_on: 右侧DataFrame中用作连接键的列。可以是列名，索引级名称，也可以是长度等于DataFrame长度的数组。
  • sort: 按字典顺序通过连接键对结果DataFrame进行排序。 默认为True，设置为False将在很多情况下显着提高性能。
  • suffixes: 用于重叠列的字符串后缀元组。 默认为（‘x’，’ y’）。也可手动指定：suffixes=(“df1”,“df2”)
  • indictor：显示字段的来源,表明生成的一条记录是来自哪个DataFrame：both、left_only、right_only
  • copy : bool, default True；If False, avoid copy if possible. 默认为True, 总是将数据复制到数据结构中。设为Fasle，尽可能避免复制。

四、join

df=DataFrame.join(obj, on=None, how=’left’, lsuffix=”, rsuffix=”, sort=False,validate="one_to_one")

DataFrame内置的join方法是一种快速合并的方法。它默认以index作为对齐的列，join也可以被理解为merge的一个简便并且特殊的方法。join也可以设置参数"how"，只不过这里默认值不同。Merge中，how的默认值是”inner“,join中的默认值为”left"。

  • obj:要合并的表，DataFrame、或者带有名字的Series、或者DataFrame的list。如果传递的是Series，那么其name属性应当是一个集合，并且该集合将会作为结果DataFrame的列名
  • on:合并表时的列名称，连接的列，默认使用索引连接
  • how:{‘left’, ‘right’, ‘outer’, ‘inner’}, 默认left连接方式，即左连接。具体连接方式见上文merge参数how
  • lsuffix:列名重复时，合并后左表列名使用的后缀，默认’ ’
  • rsuffix:列名重复时，合并后右表列名使用的后缀，默认’ ’
  • sort:按照字典顺序对结果在连接键上排序。如果为False，连接键的顺序取决于连接类型（关键字）。True时根据合并的索引排列合并结果，False时根据how参数排序，默认False
  • validate：设置合并数据类型，支持"one_to_one" or “1:1”、“one_to_many” or “1:m”、“many_to_one” or “m:1”、“many_to_many” or “m:m”

五、对比

  1. concat和append是通过轴向的合并，merge和join主要是通过具体的某一列（键）进行匹配（这个过程类似于VLOOKUP），若在合并数据的过程中需要通过某些键进行关联则使用merge和join，若不需要匹配则用concat和append。
  2. append和join相较于concat和merge来说，参数更少一点，能够实现的功能也相对少一些，可以理解为简化版的concat和merge
一文速学(三)-Pandas数据分析之DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示
master_hunter的博客
04-11 1万+
前言 此篇文章接上两篇基础篇章： 一文速学-数据分析之Pandas数据结构和基本操作代码 DataFrame行列表查询操作详解+代码实战 第一章详细介绍了Series和DataFrame作为两种Pandas基本数据结构中的创建、转换和操作。第二章则详细介绍DataFrame行列表查询操作。本打算把DataFrame行列表操作一章讲清楚但是可能看起来的话会很多不容易一下记住，故分为两篇好区分记忆得更加清楚。
Python数据合并/拼接函数concat、append、merge、join
qq_42375376的博客
01-10 5662
数据分析中经常会遇到补行/列数据 或 数据拼接/合并数据或表格的左右连接——mergejoin；数据或表格的上下连接——append。主要用于表格的左右连接，类似于SQL中的Join操作，根据具体字段来匹配连接既能按轴上下拼接，也能按轴左右拼接，主要取决于参数axis的设定append:追加，只能用于表格的上下连拼，可视作axis=0的简便版concat主要用于表格的左右连接。
chatgpt赋能python：Python合并函数：一步到位解决数据处理难题
findyi123的博客
06-04 533
Python中的concatenate()、merge()和join()函数提供了灵活高效的数据合并方法，可以适用于不同类型和不同结构的数据处理场景。在实际的数据处理过程中，需要根据数据类型和数据结构选择合适的函数进行操作，以达到最优的效果。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。
值得收藏，Python 合并数据的5个函数
Python数据挖掘
05-07 3081
前几天在一个群里面，看到一位朋友，说到自己的阿里面试，被问了一些关于pandas的使用。其中一个问题是：pandas中合并数据的5中方法。 今天借着这个机会，就为大家盘点一下pandas中合并数据的5个函数。但是对于每个函数，我这里不打算详细说明，具体用法大家可以参考pandas官当文档。喜欢记得收藏、关注、点赞。 【注】完整代码、数据、技术交流，文末提供 join主要用于基于索引的横向合并拼接； merge主要用于基于指定列的横向合并拼接； concat可用于横向和纵向合并拼接； appe
chatgpt赋能python：Python数据合并主要函数
tulingtest的博客
06-21 357
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
chatgpt赋能python：Python合并函数：一个简单但有用的工具
m0_56069948的博客
05-30 347
Python合并函数是一种用于合并数据的函数。合并函数通常用于将两个或多个数据集、列表或字典合并为一个。Python中最常使用的两个合并函数是append和extend，它们可用于将两个或多个列表合并为一个。append函数用于在一个列表中添加一个元素。extend函数用于将一个列表中的元素添加到另一个列表中。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT。
pandas concat_Python随笔 | Pandas入门（二）
weixin_39895881的博客
11-22 325
#文章首发于公众号“如风起”。原文链接：Python随笔 | Pandas入门（二）​mp.weixin.qq.com​Pandas是Python的一个基于NumPy的数据分析包，最初被作为金融数据分析工具由AQR Capital Management在2008年4月开发，并于2009年底开源出来。Pandas的名称来自于经济学的术语面板数据（panel data）和python数据分析（data...
python数据分析--数据合并方法 concat,merge,join,append
Cassiel_f的博客
01-05 2081
python数据合并的几种方法--concat,merge,join,append
【Python数据分析】之数据合并的concat函数与merge函数
陌小柠的博客
05-14 9267
文章目录系列文章一、concat函数1)横向堆叠与外连接横向堆叠合并df1和df2,采用==外连接==的方式2) 纵向堆叠与内链接二、merge()函数三、join函数1）根据行索引合并数据2）合并重叠数据 系列文章 Python之Series和DataFrame的数据排序 Python数据分析之复习知识点 一、concat函数 concat()函数可以沿着一条轴将多个对象进行堆叠，其使用方式类似数据库中的数据表合并 参数含义如下： 参数 作用 axis 表示连接的轴向，可以为0或者
Pandas学习总结——5. 合并（append与assign、combine与update、concat、merge与join）
12-21
本篇文章将探讨五种不同的合并方式：append与assign、combine与update、concat以及merge与join。 1. **append与assign** - **append方法** 主要是用于向DataFrame追加行。当你有一个Series或另一个DataFrame，并...
合并数据 - 方法总结（concat、append、merge、join、combine_first）- Python代码
热门推荐
黄饱饱
08-20 1万+
描述 分析一个业务的时候往往涉及到很多数据，比如企业融资信息、投资机构信息、行业标签、招聘数据、政策数据等，这些数据分别存储在不同的表中。通过堆叠合并和主键合并等多种合并方式，可以将这些表中需要的数据信息合并在一张表中供分析使用。 合并方法 堆叠合并：横向堆叠，纵向堆叠； 主键合并； 重叠合并； 堆叠合并 堆叠合并就是简单的把两个表拼在一起，分为横向堆叠和纵向堆叠。 横向堆叠 横向...
Python之数据合并——【concat()函数、merge()函数、join()方法、combine_first()方法】
Jormungand_V的博客
11-20 8772
文章目录轴向堆叠数据 轴向堆叠数据 pandas.concat( objs: Union[ Iterable[FrameOrSeriesUnion], Mapping[Optional[Hashable], FrameOrSeriesUnion] ], axis=0, join=“outer”, ignore_index: bool = False, keys=None, levels=None, names=None, verify_integrity: bool = False, sort: boo
Python数据框的合并（一） -- merge函数
wodertianna的博客
06-09 1648
d.在pandas中，可以使用 merge(left, right, on='key', how='left') 来实现左连接，其中 'key' 是两个DataFrame中用于匹配的列名。d.在pandas中，虽然 how='right' 是理论上存在的选项，但更常见的做法是先进行左连接，然后交换两个DataFrame的顺序再进行左连接，以达到右连接的效果。c.如果左DataFrame中没有匹配的行，则结果中的相应列将包含缺失值（NaN）。b. 如果左DataFrame中有匹配的行，则合并这些行的值。
python中合并函数_如何在python中合并函数
weixin_30224993的博客
02-03 588
这就是Python作为一种动态语言的真正好处所在——很容易实现这样的功能。在class DynamicMethods(object):def __init__(self):passclass HiddenImplementation(object):''' we create a separate implementation class that:1. stores the 'type' of ...
5个必知必会的 Python 数据合并技巧
Python学习与数据挖掘
03-27 9112
大家好，前不久在我们技术交流群有群友提到最近他面试阿里70万总包的数据岗位，对方问Pandas的5种数据合并的函数，结果他只答出了2个。 那么，究竟是哪五个呢？今天，我们就来带大家了解一下！想加技术交流群的，文末获取 目录： 1. concat 2. append 3. merge 4. join 5. combine 总结 1. concat concat是pandas中专门用于数据连接合并的函数，功能非常强大，支持纵向合并和横向合并，默认情况下是纵向合并，具体可以通过参数进
Python append 和 .join
u013176681的专栏
03-24 1699
append是list（列表）的方法，函数参数是可以是任意一个元素，作用是在列表的最后添加上这个新元素。例如a=[1,2,3]则 a.append(4)以后a就是[1,2,3,4] join是string（字符串）的方法，函数参数是一个由字符串组成的列表比如['a','b','c']，作用是用字符串把这个字符串列表里的字符串连接起来，比如： a='-' 则a.join(['a','b','
106、Python数据合并秘籍：concat与merge函数实战指南
silenceallat的博客
05-23 1101
本文深入讲解了Python中数据合并的核心函数concat和merge，通过实际案例展示了这两个函数在不同场景下的应用。文章首先介绍了这两个函数的基本概念和用法，接着分析了它们在实际数据处理中的重要性，最后总结了concat和merge函数的使用技巧。本文旨在帮助读者掌握数据合并的基本技能，为后续的数据分析工作打下坚实的基础。
python concat_Pandas之旅（三）最实用的Merge, Join,Concat方法详解
weixin_39690391的博客
11-26 402
Merge, Join, Concat大家好，我有回来啦，这周更新的有点慢，主要是因为我更新了个人简历哈哈，如果感兴趣的朋友可以去看看哈：个人认为还是很漂亮的~，不得不说，很多时候老外的设计能力还是很强。好了，有点扯远了，这一期我想和大家分享的是pandas中最常见的几种方法，这些方法如果你学会了，某种程度上可以很好的替代Excel，这篇文章是pandas之旅的第三篇，主要会从以下几个方面和大家分...
pandas的merge,join,append,concat用法详解和区别
最新发布
03-18
<think>好的，我现在需要详细解释Pandas中merge、join、append和concat这四个函数的用法和区别。用户已经提供了相关的引用资料，我需要先仔细理解这些引用内容，然后整理出一个清晰的回答结构。 首先，我应该逐个分析每个函数的基本用法，然后比较它们的异同。根据引用，concat主要用于沿轴（行或列）拼接多个数据集，可以处理多个DataFrame，并且有内外连接的区别。merge和join则是基于键的合并，类似于SQL中的JOIN操作，但具体参数和使用方式有所不同。append是向DataFrame追加行，属于concat的简化版。 接下来，我需要确保每个函数的说明都包含关键参数和示例，比如concat的axis参数，merge的on、how参数，join的on参数等。同时，要区分它们的适用场景，比如merge适合列对齐的合并，join基于索引合并，concat处理多对象拼接，append添加行。 然后，对比部分需要明确列出它们的主要区别，比如处理对象数量、键的类型、拼接方向等。这样用户能一目了然。示例部分要简单明了，展示每个函数的典型用法，比如concat合并两个DataFrame，merge根据共同列合并，join基于索引，append添加新行。 还需要检查引用是否正确对应到每个知识点，比如引用[1]提到concat可以合并多个数据集，引用[3]展示concat的行列拼接示例，引用[5]提到merge的参数等。确保每个引用在合适的位置被提及，以增强可信度。 最后，生成的相关问题要围绕用户可能感兴趣的扩展内容，比如性能差异、处理重复数据的方法、替代函数等，帮助用户深入理解。 在整理过程中，需要注意中文表达的流畅性和技术术语的准确性，避免错误。同时，按照用户要求，数学公式使用$...$格式，独立公式用$$...$$，但在这个问题中可能涉及较少数学内容，所以可能不需要太多公式。确保LaTeX语法正确，比如如果有用到公式的话。 现在，把这些思路整合成一个结构清晰、分点明确、示例恰当的回答，并附上相关问题。确保每个部分都覆盖了用户的需求，并且引用标注正确自然。</think>### Pandas中merge、join、append和concat的区别及用法详解 #### 1. **`concat()`** - **功能**：沿行或列方向拼接多个数据集（DataFrame或Series），支持内外连接（`join='outer'`或`'inner'`）。 - **核心参数**： - `axis=0`（默认）：纵向拼接（增加行）；`axis=1`：横向拼接（增加列）。 - `ignore_index=True`：重置索引。 - `keys=[...]`：添加层级索引以区分来源。 - **示例**： ```python import pandas as pd # 纵向拼接两个DataFrame result = pd.concat([df1, df2], axis=0) # 横向拼接（列对齐） result = pd.concat([df1, df2], axis=1) ``` **适用场景**：合并结构相似的数据（如多个季度销售表）[^3]。 --- #### 2. **`merge()`** - **功能**：基于列或索引的键值合并数据，类似SQL的`JOIN`操作。 - **核心参数**： - `on='列名'`：指定合并的键。 - `how='inner'`（默认）：支持`left`/`right`/`outer`。 - `left_on`/`right_on`：左右表不同的键名。 - `suffixes=('_x', '_y')`：处理重复列名。 - **示例**： ```python # 根据共同列合并 merged_df = pd.merge(df1, df2, on='id', how='left') # 不同键名合并 merged_df = pd.merge(df1, df2, left_on='id', right_on='user_id') ``` **适用场景**：关联不同数据源中的表（如订单表和用户表）[^5]。 --- #### 3. **`join()`** - **功能**：基于索引的合并（默认左连接），也可指定列作为键。 - **核心参数**： - `on=None`（默认）：使用索引合并。 - `how='left'`（默认）：支持`right`/`inner`/`outer`。 - `lsuffix`/`rsuffix`：处理重复列名。 - **示例**： ```python # 基于索引合并 joined_df = df1.join(df2, how='inner') # 基于列合并（需设置索引） joined_df = df1.set_index('id').join(df2.set_index('user_id')) ``` **适用场景**：快速合并索引对齐的数据（如时间序列）[^4]。 --- #### 4. **`append()`** - **功能**：向DataFrame尾部追加行（`concat(axis=0)`的简化版）。 - **注意**：已被弃用，建议改用`pd.concat()`。 - **示例**： ```python # 追加单行数据 new_row = pd.DataFrame({'A': [1], 'B': [2]}) appended_df = df1.append(new_row, ignore_index=True) ``` **适用场景**：动态添加少量数据（如日志记录）[^2]。 --- ### 对比总结 | 方法 | 处理对象数量 | 键类型 | 拼接方向 | 主要用途 | |---------|--------------|----------------|----------|------------------------------| | `concat`| 多个 | 索引或列对齐 | 行/列 | 结构相似数据的批量合并[^1] | | `merge` | 两个 | 列或索引 | 列扩展 | 基于键的关联分析 | | `join` | 两个 | 索引或列 | 列扩展 | 索引对齐的快速合并[^4] | | `append`| 单个或两个 | 无（直接追加） | 行扩展 | 简化版行追加（已弃用）[^2] | --- ### 示例对比 - **`concat`横向拼接**： ```python pd.concat([df1, df2], axis=1) # 列合并，索引需对齐 ``` - **`merge`关联不同列名**： ```python pd.merge(df1, df2, left_on='id', right_on='user_id') ``` - **`join`基于索引**： ```python df1.join(df2.set_index('user_id'), on='id') ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值