Pandas 的这个知识点,估计 80% 的人都得挂!

别再只用pandas了!用PyArrow高效处理大Parquet文件,内存占用直降80% 本文详细介绍了PyArrow在处理大型Parquet文件时的优势,相比传统pandas方法,PyArrow通过零拷贝读取、内存映射技术和列式处理,显著降低内存占用达80%。文章包含实战性能对比、高级查询技巧及生产环境最佳实践,帮助开发者高效处理大数据。 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入


今天来跟大家分享下 pandas 中 apply 函数的一个技巧。

Pandas 中 apply 函数,应用广泛,今天要跟大家分享一个使用的技巧,使用 apply 将 dataframe 中内容为 list 的列拆分为多列。

拆分前的数据情况,如下图红色标注所示:

 

 

拆分后,如下图所示:

 


这个案例中,Lemon 使用的数据来自 akshare ,在开始前,引入相关 package :

import pandas as pd
import akshare as ak

Lemon 使用的两个 Python 库的版本信息如下:

print(ak.__version__)
0.7.22
print(pd.__version__)
1.1.4

先从 akshare 获取需要的数据,分为两步,第一步是获取基金代码的列表,如下:

df = ak.fund_em_fund_name().head(20).tail(5)
df = df[['基金代码','基金简称']]
print(df)

第二步是获取基金净值数据和净值日期,通过一个自定义函数来获取,自定义函数如下:

# 获取基金单位净值以及净值日期
def get_mutual_fund(code):
    df = ak.fund_em_open_fund_info(fund=code, indicator="单位净值走势")
    df.columns = ['净值日期', '单位净值', 'equityReturn', 'unitMoney']
    df['净值日期'] = pd.to_datetime(df['净值日期'])
    df = df.sort_values('净值日期',ascending=False)
    unit_equity = df.head(1)['单位净值'].values[0]
    date_latest = df.head(1)['净值日期'].values[0]
    return [unit_equity, date_latest]

对于这个自定义函数,在 pandas 使用 apply 来应用自定义函数,这是使用 apply 的一种常用的方法,如下:

# 获取基金最新的单位净值和净值日期
df['tmp'] = df['基金代码'].apply(get_mutual_fund)
print(df)

获取的数据截图如下:

 

 

上图中的 tmp 列,就是我们这次需要进行处理的对象。

处理方法可以有多种,这里 Lemon 使用 pandas 中的 apply 来处理,相对来说,也是比较便捷的方式。

在 apply 函数中,使用 pd.Series 就可以达到我们的目的。

# 将单位净值和净值日期单独成列
df[['最新单位净值','净值日期']] = df['tmp'].apply(pd.Series)
df = df.drop('tmp',axis=1)
print(df)

结果如下:

 

 

看起来复杂的问题,解决起来也很便捷,是不是很容易啊,赶紧用起来吧。

20 个 Pandas 函数,用于 80% 的数据科学任务 Pandas 是一个广受欢迎的 Python 数据分析库,它提供了高性能、易用的数据结构和数据分析工具。特别是对于处理和分析输入数据表格,Pandas 是非常有用的。这个库主要用于数据清洗和准备,它可以极大地简化数据预处理、分析和可视化的过程。 阅读详情

相关推荐

鲁棒优化入门(一)——工具箱Xprog和RSOME的安装与使用

Xprog是由新加坡国立大学的Peng Xiong于2016年发布的一款matlab工具箱,可以用于求解确定性优化、随机优化、鲁棒优化和分布式鲁棒优化问题。 还有一个针对鲁棒随机优化设计的matlab工具箱——RSOME(Robust Stochastic Optimization Made Easy),也可以用来解决一般的线性规划、随机规划、鲁棒优化和数据驱动的分布式鲁棒优化问题。...............

配电网和matlab的博客 1万+

光子学与量子计算机:未来科技的前沿

1.背景介绍 量子计算机是一种新兴的计算机技术,它利用量子比特(qubit)和量子门(quantum gate)来进行计算。与传统的二进制比特(bit)不同,量子比特可以同时处于多个状态中,这使得量子计算机具有巨大的计算能力。量子计算机的发展有望改变我们对计算机科学的认识,并为许多复杂问题提供解决方案。 光子学(quantum optics)是光学和量子 mechanics 的结合学科,研究光...

AI天才研究院 1462

线上专利申请(超详细)| 签名确认

在【法人登录】页面点击【证书登录】按钮,弹出证书登录提示框,点击【确 认】按钮,进入到输入证书密码页面,点击【取消】按钮,取消本次操作。企业在提交申请时,需要增加签名,如使用企业账户点击提交,会弹出“法人、代理机构不能签名,请使用经办人签名”,这个时候就需要换个账号了。在需要签名时,将专利官网的登录方式点击法人登录,选择扫码登录,使用移动端经办人账户的扫一扫功能扫描登录。登录完成后,再点击签名,使用移动端扫一扫功能,扫描签名,输入证书号,确认签名,并提交。最后,祝大家的申请都成功!

weixin_62112323的博客 9114

光量子计算机的功能,光量子计算机有什么用

量子计算机具有超快的并行计算和模拟能力,计算能力随可操纵的粒子数呈指数增长。曾有人打过一个比方:如果现在传统计算机的速度是自行车,量子计算机的速度就如同飞机。例如,使用亿亿次的“天河二号”超级计算机求解一个亿亿亿变量的方程组,所需时间为100年,而使用一台万亿次的量子计算机求解同一个方程组,仅需0.01秒。因为计算能力的革命性突破,如同蒸汽机之于工业文明,量子计算机将成为未来科技的引擎。实验测试表...

weixin_33685869的博客 1151

PINN——加入物理约束的神经网络

【摘要】 基于物理信息的神经网络(Physics-informed Neural Network, 简称PINN),是一类用于解决有监督学习任务的神经网络,它不仅能够像传统神经网络一样学习到训练数据样本的分布规律,而且能够学习到数学方程描述的物理定律。与纯数据驱动的神经网络学习相比,PINN在训练过程中施加了物理信息约束,因而能用更少的数据样本学习到更具泛化能力的模型。本文主要解析这种神经网络以...

qq_39444290的博客 4586

C#实战:如何用HslCommunication快速搞定三菱FX5U PLC通讯(附完整代码)

本文详细介绍了如何利用HslCommunication库在C#环境中快速实现与三菱FX5U PLC的通讯。通过实战代码演示,从环境搭建、建立连接、核心数据读写到构建健壮的监控服务,系统讲解了如何高效完成数据采集与交互,大幅提升工业自动化项目的开发效率。

s4t5u6v的博客 1202

小关对话|用量子重新定义计算机,打开光量子计算的神奇之门

相干光量子技术路线,通过对激光的精准控制,不需要超低温超导环境,在室温下即可运行,具有稳定的状态,稳定的操控,和稳定的结果,这‘三稳’的特点。这些强大的“内在”,也使得“天工量子大脑”成为万众瞩目的焦点,获得了媒体的争相报道。接下来,玻色量子还将启动“燎原计划”开发者平台,并持续对外开放“天工量子大脑”的真机测试,助力不同领域的研究伙伴了解相干量子计算的原理和能力,在此基础上展开共同研发,用量子计算去解决更多真实场景中的问题,让量子计算的超强算力能真正服务于各行各业,满足未来时代对于计算的需求。

QBoson的博客 1198

MarkDown简介(深度解析MarkDown用法)

欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...

酷酷的旭 7344

量子计算机水平,全球首台光量子计算机在中国诞生!远远超过国际水平!

2017年,世界第一台光量子计算机在中国诞生!这台名字“不明觉厉”的计算机,科技含量可能超越大家的想象。好莱坞电影中,有很多高科技的场景,比如在《银河系漫游指南》这部电影中,有一台宇宙第一的计算机,有着超高的运算速度以及高级人工智能,而光量子计算机,则可以将“宇宙”二字换成“地球”。这次的成功意味着中国在未来将会制造出能超越早期经典计算机运算能力的光量子计算机。光量子计算机是由中国科技大学的潘建伟...

weixin_34138585的博客 5231

可信数据空间关键技术和功能架构研究

可信数据空间(TDS)是实现数据安全共享的基础设施,通过数字合约和使用控制技术确保数据跨域流通的可信与安全。其架构包括服务平台和接入连接器,关键技术涵盖访问控制、隐私计算、区块链等。评估重点在于合规性、连接器能力、互联互通及安全体系。核心在于构建规则引擎而非简单数据汇聚,连接器开发比平台建设更重要。当前面临技术成本博弈、跨域身份互认等挑战,需平衡安全、性能与成本,推动数据要素市场发展。

逸尘的专栏 2231

SAP 固定资产采购简介

SAP 固定资产采购是指企业通过采购流程获取长期使用并记录为固定资产的物品。固定资产是企业为长期使用而购置的资产,如机器设备、办公设备、建筑物、车辆等,通常这些资产的使用期限较长,并且在资产负债表上记录。在SAP系统中,固定资产采购流程通常与物料管理(MM)模块和固定资产管理(FI-AA)模块相结合。这个过程涉及从需求的提出、采购订单的创建,到货物接收、发票校验和资产激活的多个步骤。

我小时候很黑的博客 1731

《全球首台“光量子计算机”问世:算力较传统超级计算机提升百万倍》

实验结果令人惊叹,这台光量子计算机不仅能够高效执行复杂的大型计算任务,还展现出了高度的容错性,即便在面对一定程度的外界干扰时,依然能够保持计算结果的准确性。随着相关技术的不断突破和创新,我们有理由期待,光量子计算机将如同电力和互联网一样,深刻改变我们的生活方式,推动各个领域的科学研究和技术创新,引领人类社会进入一个全新的智能时代。相信在不久的将来,随着技术的不断进步和完善,光量子计算机将逐渐克服这些难题,从实验室走向更广阔的应用场景,为人类的生活和社会发展带来翻天覆地的变化。

enter回车键 691

2025年GESP3月认证C++五级真题解析

小 A 有 2n 件物品,小 B 和小 C 想从小 A 手上买走这些物品。对于第 i 件物品,小 B 会以 bi 的价格购买,而小 C 会以 ci 的价格购买。对于所有测试点,保证 1 <= T <= 100, 2 <= g < p <= 10^9, g, p 为整数, p 为质数。对于所有测试点,保证 1 <= n <= 10^5, 0 <= bi, ci <= 10^9, bi, ci 为整数。对于另外 50 % 的测试点,保证 n <= 100000, 0 <= bi, ci <= 10^9。

lan_in的博客 1036

实用的 Pandas 技巧,估计 80% 的人不知道

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 之前跟大家分享了在 pandas 的 apply 函数中用 pd.Series 功能来拆分文本 数据来源于 akshare,由于 akshare 版本的更新,部分接口发生变化,致使上面文章里的代码运行会出错。因此今天也会更新下代码。 此外,在上面文章里应用到了 .

【优快云官方推荐】 378

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

这20个Pandas函数可以完成80%的数据科学工作

以上这20个pandas函数,绝对可以帮助我们万行80%以上的任务,我们这里只是简单的总结,想group,merge等参数比较多并且常用的函数可以通过pandas的文档进一步熟悉,这将对我们的工作有很大的帮助。作者:Youssef Hosni。

deephub 6607

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Dify + Pandas协同处理超大Excel(资源占用降低80%的秘密)

高效解决Dify Excel大文件提取难题,利用Dify与Pandas协同处理,显著降低80%资源占用,适用于海量数据清洗与自动化提取场景。方法简单,性能提升显著,值得收藏。

BreakVein的博客 773

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

可以完成80%的数据分析工作的20个Pandas函数

以上这20个pandas函数,绝对可以帮助我们完成80%以上的任务,我们这里只是简单的总结,想group,merge等参数比较多并且常用的函数可以通过pandas的文档进一步熟悉,这将对我们的工作有很大的帮助。在上面的例子中,df.Iloc[0]选择第一行,Iloc[:2]选择前两行,Iloc[:, 0]选择第一列,Iloc[:,:2]选择前两列,Iloc[1,1]选择位于(第二行,第二列)(1,1)位置的元素。该函数返回一个新的DataFrame,其中只包含两个DataFrame中指定列中的值匹配的行。

abackcab的博客 1008

pandas--在日常数据分析工作中80%场景会用到的功能

df['result'] = np.where(df['score'] >= 60, '及格', '不及格')pd.merge(left, right, on='key', how='left') # 左连接。df[df['city'].isin(['北京', '上海', '广州'])]df['gender'].map({'男': 'M', '女': 'F'})df = pd.read_csv('file.csv') # 最常用。df[df['name'].str.contains('张')]

2502_94754303的博客 609

3分钟提速80%:LightGBM与Pandas DataFrame的深度优化指南

你是否还在为机器学习模型训练时的数据处理效率低下而烦恼?当面对数十万行的Pandas DataFrame时,特征工程和模型训练的等待时间是否让你抓狂?本文将揭示LightGBM框架如何通过精心设计的Pandas集成方案,解决数据类型转换、内存占用和训练效率三大痛点,让你的数据处理流程提速80%以上。读完本文,你将掌握从数据加载到模型调优的全流程优化技巧,学会利用LightGBM的自动类型推断、分类...

gitblog_01016的博客 830

Pandas中mask与where的深度对比(90%的人都用错了)

掌握Pandas的mask与where条件替换技巧,轻松实现数据高效筛选与赋值。详解两者在正向/反向替换中的适用场景、链式操作方法及性能差异,避免常见误用。对比填充、过滤等实战应用,助你写出更简洁代码,值得收藏。

CodePulse的博客 857

pandas的自带数据集_Python数据清洗80%的工作量,看这篇就够了

干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集,毫不夸张地说,数据清洗会占据他们80%的工作时间,而真正用来分析数据的时间只占到20%左右。所以,数据清洗到底是在清洗些什么?通常来说,你所获取到的原始数据不能直接用来分析,因为它们会有各种各样的问题,如包含无效信息,列名不规范、格式不一致,存在重复值,缺失值,异常值等.....本文会给大家介绍如何用Py...

weixin_39940755的博客 316

数据上报延迟频发?,Python自动化分析流程让政务决策提速80%

解决数据上报延迟难题,Python自动化提升政务决策效率。基于政务大数据分析Python实践,构建智能分析流程,广泛应用于民生统计、应急响应等场景,实现处理速度提升80%。方法高效可靠,值得收藏。

VarChat的博客 878

参数估计_参数估计的python代码实现

参数估计参数估计(parameter estimation) 统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。从估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题: (1)求出未知参数的估计量; (2)在一定信度(可靠程度)下指出所求的估计量的精度。信度一般用概率表示,如可信程度为95%;精...

weixin_40002009的博客 586
上一篇: 是时候总结一波Python环境搭建问题了
下一篇: 实用的 Pandas 技巧,估计 80% 的人不知道
酸菜鱼编程
博客等级 码龄6年 155粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值