数据分析笔记--pandas分组和聚合后的多表连接

最新推荐文章于 2024-12-30 23:31:13 发布
原创 最新推荐文章于 2024-12-30 23:31:13 发布 · 1.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何在Pandas中对DataFrame进行分组和聚合操作，并详细阐述了如何处理聚合后的DataFrame列名冲突问题。通过add_prefix()方法添加列名前缀以避免重合。接着，讲解了利用merge()函数实现多表连接，重点说明了主键和外键的概念以及left_on, right_on, left_index, right_index参数的用法。最后，展示了如何使用transform生成聚合数据并将其与原始数据合并，创建新的DataFrame对象。" 86495742,5727915,高程数据转换到xi'an80或Beijing54坐标系指南,"['GIS', '坐标转换', '地图投影', 'CAD格式', '地理信息系统']

import pandas as pd

import numpy as np

显示原始的DataFrame对象和分组聚合之后的DataFrame对象



1.修改聚合运算后的DataFrame对象的列名（因为列名和原始的数据列名重合了）

add_prefix():给列名添加前缀


2.将聚合运算后生成的DataFrame对象，合并到原来的DataFrame对象里（merge）

可以通过merge()将两张表进行连接

主键：数据表里唯一且非空的字段

外键：数据表用来和另一张数据表进行连接的字段

left_on:使用左边数据表的“外键”

right_on:使用右边数据表的“外键”

left_index:使用左边数据表的行索引

right_index:使用右边数据表的行索引



3.将聚合运算后生成的DataFrame对象，合并到原来的DataFrame对象里(transform)

先生成聚合后的DataFrame对象，并给列索引添加前缀


将聚合后的数据和原始数据进行连接


如果不想改变原来的初始数据，可以新建一个空白的DataFrame对象，然后添加原始数据和聚合后的数据

df_obj_new = pd.DataFrame()

df_obj_new[df_obj.columns] = df_obj

df_obj_new[df_obj_sum2.columns] = df_obj_sum2

也能得到同样的结果


pandas多表联合join及merge
美味的螺蛳粉的博客
11-24 970
students = pd.read_excel('Student_Score.xlsx',sheet_name='Students',index_col='ID') scores = pd.read_excel('Student_score.xlsx',sheet_name='Scores',index_col='ID') # #merge多表联合how='left'表示不管对不对，按照左边的表保留数据 # table = students.merge(scores,how='left',left_on=
Pandas学习笔记-12_多表联合
我思故我在！
01-12 1517
1. Excel 原始数据表格 两张表共同点：ID，相同id的学生，可以透过穿插两张表得到student对应的分数。 将两张表联合起来，使用vlookup函数 查找依据：A2，查找范围：Scores表格中的A2：B21，取出查到到后找到的的第2列。 问题：id21 以后的数字明明在Scores表格中没有，怎么会返回值呢？是因为，vlookup函数有一个近似填充/模糊匹配功能，...
Pandas数据分析笔记
01-23
适合新手的pandas数据分析笔记，ipynb格式。包括12个部分，包含代码和解释，快速入门pandas~
MySQL 数据库（数据分组、排序以及表连接）
weixin_51927215的博客
05-17 766
Mysql分组及其筛选23连接左连接 分组及其筛选 此处我直接在可视化工具下手动操作数据，直到显示如下效果 我们可以发现，表格中的（sex）字段，可以分为二类（二组），我们尝试一下将查询到的数据总数按照（sex）字段来分组 select count(*) from xiaoke group by sex; 我们可以粗略知道按照字段（sex）分类，可以得到总数为 3 或 4 的分组，但是具体来说并未归类，接下来我们将数据归类 select sex as "性别",count(*) from xiaoke
pythonpandas数据输出_Python pandas数据帧聚合输出
weixin_42116734的博客
01-29 212
我有这样的数据：Sr.No Value1 Value2 Value3 Type1 2 1 N A2 3 1 M A3 3 2 X A4 0 1 Y B5 10 2 Z B6 3 ...
数据分析笔记--pandas的分组和聚合
print_and_return的博客
06-04 2882
import pandas as pdimport numpy as np新建一个带分组特征的DataFrame对象分组操作  groupby注意：只对数据集进行分组操作，将不会显示结果，只会生成一个分组的对象，只有分组后进行聚合运算才有实际结果分组后的聚合运算 对整个数据集进行聚合运算对data2进行分组后的聚合运算自定义key进行分组自定义一个列表，个数和每列的个数相同...
【Python数据分析--pandas学习笔记】Python数据分析库pandas详细学习笔记（内容详细，适合小白入门），数据分析学习笔记
m0_67844671的博客
06-02 1481
【Python数据分析--pandas学习笔记】Python数据分析库pandas详细学习笔记（内容详细，适合小白入门），数据分析学习笔记
6-pandas分组聚合与数据读取
最新发布
2401_87633706的博客
12-30 2076
groupby() 是 pandas 库中用于对数据进行分组操作的一个非常重要的方法。 2. agg方法： （1）单个函数聚合----如果你只想对某一列应用一个函数，可以直接传递该函数的名字或函数对象给 agg 方法：eg：agg({'金额': 'sum'})（2）多个函数聚合----如果你想对某一列应用多个函数，可以传递一个列表给 agg 方法。eg:agg({'金额': ['sum', 'mean']})（3）不同的列不同函数----如果你希望对不同的列应用不同的聚合函数，可以在 agg 方法中传
Python-Pandas：Pandas数据处理笔记本
02-18
8. **数据合并与连接**：`merge()`和`concat()`函数用于将多个DataFrame组合成一个。`merge()`类似于SQL中的JOIN操作，而`concat()`则是在垂直或水平方向上拼接DataFrame。 9. **数据可视化**：Pandas可以与...
python --数据分析-numpy-pandas-series对象和dataframe对象
m0_74051333的博客
06-06 1563
NumPy(Numerical Python) 是Python数据分析必不可少的第三方库，NumPy的出现一定程度上解决了Python运算性能不佳的问题，同时提供了更加精确的数据类型，使其具备了构造复杂数据类型的能力。是一个运行速度非常快的数学库，主要用于数组计算，包含：高性能科学计算和数据分析的基础包ndarray，多维数组，具有矢量（向量）运算能力，快速、节省空间矩阵运算，无需循环，可完成类似Matlab（商业数学软件）中的矢量运算用于读写磁盘数据的工具以及用于操作内存映射文件的工具。
pandas versus Excel 学习笔记11（多表联合查询）
weixin_42758462的博客
03-10 1115
Excel VLOOKUP函数 =VLOOKUP(A2,Scores!A2:B21,2,0)#不做近似填充 pandas merge函数 方法一 students=pd.read_excel('016/Student_Score.xlsx',sheet_name='Students') scores=pd.read_excel('016/Student_Score.xlsx',she...
pandas根据输入ID进行分表
ChenWenKen的博客
05-18 316
功能：根据输入excel表的id号段进行分表，可以重复输入多个号段。 代码实现：用pandas的read_excel里的skiprows与nrows来实现。 import pandas as pd from time import * begin_time = time() #程序运行时间 dirPath = r'E:\Work\Test\\' dirPath2 = r'E:\Work\Test\表格拆分\\' path = dirPath + '3473666-3482675.xlsx' #excel的
pandas根据定义的数量分excel表
ChenWenKen的博客
04-30 1119
题记：自己定义excel分表里的数量，大表分解成若干小表。例如： 大表数据量 小表数据量—小表个数 100 条 30条—4个张 500条 50条—10张 1650条 1000条—2张 import pandas as pd from time import * begin_time = time() #程序运行时间 dirPath = r'C:\Users\user\Desktop\2020-04-30 epc生成\00820909030065\\' dirPath2 = r'C
pandas合并groupby_Pandas-GroupBy，然后在原始表上合并
weixin_32949451的博客
02-08 1186
我正在尝试编写一个函数来汇总并在Pandas中的数据框上执行各种统计数据计算，然后将其合并到原始数据框，但是，我遇到了问题。这与SQL中的代码等效：SELECT EID,PCODE,SUM(PVALUE) AS PVALUE,SUM(SQRT(SC*EXP(SC-1))) AS SC,SUM(SI) AS SI,SUM(EE) AS EEINTO foo_bar_grpFROM foo_barGR...
一键拆分表格 - pandas实现表格拆分
zkl718的博客
12-31 1280
工作中有同事需要将一个表格进行拆分，拆分的依据就是将属于同一机构或者属于同一类别的excel表格进行拆分。
使用pandas按照一定判定条件分表和表
weixin_49870995的博客
12-28 731
import pandas as pd import xlwt,os,time import selectUsecols as su import mergeExcel as me workbook = xlwt.Workbook(encoding = 'ascii') worksheet = workbook.add_sheet('My Worksheet',cell_overwrite_ok=True) font = xlwt.Font() # 为样式创建字体 font.name = '宋体' work
【Python自动化Excel】pandas操作Excel的“分分合合”
m0_59236602的博客
02-23 1164
话说Excel数据表，分久必合、合久必分。Excel数据表的“分”与“合”是日常办公中常见的操作。手动操作并不困难，但数据量大了之后，重复性操作往往会令人崩溃。利用Python的Pandas库，便可以自动实现Excel数据表的“分分合合”。下面结合实例来分享本人整理的实用代码片段。（如有更好的方式，欢迎批评指正）
Pandas利用split函数将DataFrame中的列表字段拆分为多列并合并到原始DataFrame中
持续更新
06-03 1758
在进行数据处理时，经常会遇到需要将列表字段拆分为多列的情况，此时Pandas中的split函数可以大大简化操作流程。本文将以Python语言为基础，介绍如何使用split函数将DataFrame中的列表字段拆分为多列，并合并回原数据中。以上就是利用Pandas的split函数将DataFrame中的列表字段拆分为多列的简单方法。最后，我们将新创建的两个列拼接回原始DataFrame中，并删除。函数将每个人的兴趣爱好列表转换成一个二维矩阵，然后使用DataFrame的构造函数生成一个新的DataFrame。
pandas之表连接与高级查询
m0_69435474的博客
04-20 1967
表间的左右连接和内连接，高级查询语句truncate、字符串查询函数str.contains、query函数等
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值