用pandas里的groupby函数实现把一个大文件按某一列的类型分成多个文件

最新推荐文章于 2025-09-02 19:58:03 发布
原创 最新推荐文章于 2025-09-02 19:58:03 发布 · 7.3k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文通过实例演示如何利用pandas的groupby函数，根据数据文件中某一列的不同值，将大文件拆分为多个小文件，每个文件以其主键内容命名。内容包括对拆分过程的描述及代码展示。

上图说话，浅显易懂

大文件：

可以发现上图“单元这一行”有三个不同的值，我想以这一列为主键，分成三个文件，文件名以主键内容命名，输出如下图：

对于GO7-33-286.csv、GO7-35-226.csv、GO7-37-166.csv这三个文件内容，分别如下：

最低0.47元/天 解锁文章
Pandas分组函数groupby、聚合函数agg和转换函数transform
小龙在线
10-28 1220
by: 指定根据哪个/哪些字段分组，默认值是None，按多个字段分组时传入列表。by参数可以按位置参数的方式传入。axis: 设置按列分组还是按行分组，0或index表示按列分组，1或columns表示按行分组，默认值为0。level: 当DataFrame的索引为多重索引时，level参数指定用于分组的索引，可以传入多重索引中索引的下标（0,1…）或索引名，多个用列表传入。
pandas.DataFrame.groupby 按某列类型值将文件分为多个文件
无穷酱的博客
04-08 1898
1.groupby() pandas.DataFrame.groupby() groupby函数使用映射器或一系列列对数据帧进行分组。 groupby操作涉及拆分对象、应用函数和组合结果的某种组合。这可以用于对大量数据进行分组，并对这些分组进行计算操作。 2.栗子 groups = data.groupby(data['color']) #按“color”列的值分为多个文件 #比如color列有“red, yellow, green”三个不同类型的值，则会分为red.csv; yellow..
使用Python中pandas按照某一列把一个Excel文件拆分为多个Excel文件
ccplus的博客
08-28 1万+
使用Python中的pands包，按照指定条件，某一列，把一个Excel文件拆分为多个Excel数据文件
如何利用pandas 快速拆分excel数据
最新发布
xieshen86的专栏
09-02 353
摘要：Pandas提供了多种拆分Excel数据的方式：1）按列值拆分成多个文件；2）拆分成多Sheet的单个文件；3）按固定行数拆分；4）按多列组合拆分。使用时需注意Sheet命名规范和字符限制，可先查看唯一值或排序数据。这些方法适用于按部门、区域等维度管理数据，提高数据处理效率。
Python使用pandas对Exccel按某列分割成多个文件
大海的博客
09-17 2385
首先需要安装第三方库： pip3 install pandas pip3 install xlrd pip3 install openpyxl 后面这两个不晓得是啥，反正是在运行中报错提示，然后安装的。 目标文件在E盘下面：data1.xlsx，文件内容： import pandas as pd io = "e:/data1.xlsx" #目标文件 data = ...
python dataframe取多列,在Pandas DataFrame中将文本(带有名称和值)列拆分为多列
weixin_29264201的博客
03-01 717
I have problem with speed of my algorithm, is too slow. I have a big dataframe and wanna create columns depends on the name and value in other. I am looking for a solution maybe in Pandas. Before runn...
Part14:Pandas批量拆分与合并Excel文件
qq_46044325的博客
09-16 2017
1.使用df.iloc方法，将一个人的dataframe，拆分成多个小dataframe。2.将使用dataframe.to_excel保存每个小Excel。2.分别读取到dataframe，给每个df添加—列用于标记来源。2.将多个小Excel合并成一个大Excel并标记来源。4.将合并后的dataframe输出到excel。1.遍历文件夹，得到要合并的Excel文件列表。1.将一个大Excel等份拆成多个Excel。3.使用pd.concat进行df批量合并。
Pandas知识点-详解分组函数groupby
weixin_43790276的博客
07-23 1万+
Pandas系列：分组函数groupby。
Pandas数据分析groupby函数深度总结（1）
学习爱好者fz的博客
06-22 3942
Pandas数据分析groupby函数深度总结（1）groupby分组数据加载数据数据分组按'Sales Rep'列分组显示所有分组选择一个特定的组计算每组中的行数按'Sales Rep'中的姓分组按'Sales Rep'中是否包含有“William”分组按随机序列分组按'Val'列分位数分成三组按制定的'Val'列的范围进行分组pd.GrouperGrouping by year按季度或其他频率分组通过多列进行分组 pandas包最强大的函数之一，当属groupby了。但是大多数人对groupby函数研究
Pandas系列学习教程——14 pandas分组聚合统计groupby
lzylzy66的博客
03-13 1456
随着人工智能的不断发展，数据分析这门技术也越来越重要，很多人都开启了学习数据分析，本文就介绍了pandas学习的基础内容。本章简单介绍了pandas分组聚合统计，具体介绍了分组使用聚合函数做数据统计和遍历groupby的结果执行流程两种方法。
在pandas dataframe中groupby之后将多个列合并转换为dict
qdulgh的专栏
06-15 1322
【代码】在pandas dataframe中groupby之后将多个列合并转换为dict。
Python数据分析中对DataFrame的数据分组处理groupby
liujingwei8610的专栏
03-19 1万+
【小白从小学Python、C、Java】 【Python全国计算机等级考试】 【Python数据分析考试必会题】 ● 标题与摘要 Python数据分析中对DataFrame的 数据分组处理groupby ● 选择题 以下关于数据分组处理的说法错误的是： A 可以通过groupby函数实现分组处理 B groupby函数返回值为一个对象 C groupby函数会改变原数据 D 可以对groupby处理得到的对象进行组内求和计算 ​ ​● 问题解析 1.数据分析中常常需要按照
利用python进行数据分析——groupby分组
weixin_42418170的博客
10-26 5249
groupby分组运算的三个阶段：split--apply--combine（拆分-应用-合并） 本篇主要讲split阶段，groupby分组，即我们可以通过哪些方式对DataFrame进行分组 分组键概览： DataFrame中的列 自定义数组 字典或者Series 通过函数进行分组 根据索引级别分组 一、通过DataFrame中的列进行分组 Note：1. df['列名'].groupby(df['列名']) ---前者表示待划分的数据，后者表示划...
python+re正则表达式匹配指定10位整数 \ 小数 \ 整数
weixin_42636075的博客
04-04 1984
python+re正则表达式匹配整数和小数 re匹配整数可指定位数 re匹配小数
【Pandas总结】第九节 Pandas_累计与分组 pd.groupby()
weixin_47139649的博客
10-02 5489
一、数据准备 二、累计值计算 2.1 df.describe() 2.2 常用统计值 三、分组 pd.groupby() 四、更多的使用方法`aggregate()`,`filter()`,`transform()`,`apply()` 4.1 `aggregate()` 4.2 `filter()` 4.3 `transform()` 4.4 `apply()`
Python - Pandas 数据分组groupby
DreamingBetter的博客
03-29 6116
本文摘要： 分组后使用聚合函数统计 df为 单个列groupby，查询所有数据列的统计 df.groupby('A').sum() 返回结果，可见A变成索引列，里面的值进行了分类有bar、foo。因为调用sum函数，B列不是数字，自动忽略。 ...
Pandas —— 使用Pandas进行绘图
starter_____的博客
01-30 4876
对于Series index索引用于绘制X轴 import numpy as np import pandas as pd import matplotlib.pyplot as plt s=pd.Series(np.random.randn(10).cumsum(),index=np.arange(0,100,10)) s.plot() plt.show() 对于DataFra...
pandas将.csv分割成多个文件
小楼一夜听春雨
07-05 1万+
今天测试爬虫scrapy爬取站点图片，保存的.csv文件数据有530000+行，视同excel打开非常缓慢，所以想着给他切割成多个文件，这样打开查看就很方便了。 # code=utf-8 import pandas as pd # 打开文件 data = pd.read_csv(r'C:\Users\Admin\Desktop\爬虫爬取的文件\xxx.csv') # 每个excel保存3万行，那么530000+数据需要18个.csv文档保存 for i in range(0, 18): sav.
Pandas详解十六之groupby分组后分开运算
热门推荐
yungeisme的博客
05-31 2万+
约定 import pandas as pd import numpy as np groupby分组后分开运算 Groupby对象支持迭代，当我们分组后想保存分组结果而不想运算，或者分别对每组进行不同的运算，这时是十分有用的。 1 创建 df1=pd.DataFrame({'Data1':np.random.randint(0,10,5),'Data2':np.random.ran...
pandas的groupby函数
07-27
pandas的groupby函数是用于按照指定的条件对数据进行分组的函数。通过groupby函数，可以将数据按照某一列或多列的值进行分组，并对每个分组进行相应的操作。\[1\] 例如，可以使用groupby函数按照某一列的值将数据分成多个组，并对每个组进行求和、计数、平均值等操作。可以通过传递一个函数或一个列名来指定分组的条件。\[2\] groupby函数返回的是一个DataFrameGroupBy对象，可以通过该对象进行进一步的操作，如应用聚合函数、筛选数据等。\[3\] 总结来说，pandas的groupby函数是一个非常有用的函数，可以方便地对数据进行分组和聚合操作，帮助我们更好地理解和分析数据。 #### 引用[.reference_title] - *1* *2* *3* [深入理解Pandas的groupby函数](https://blog.youkuaiyun.com/u013481793/article/details/127158683)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值