实用的 Pandas 技巧,估计 80% 的人不知道

处理不平衡数据的五种方法 大家好,我是小寒。 原文链接 你是否曾经遇到过这样的问题:你的数据集中的正类样本非常小,以至于模型无法学习? 「在这种情况下,仅通过预测多数类就可以获得相当高的准确度,但无法捕获少数类。」 这样的数据集很常见,被称为「不平衡数据集。」 不平衡数据集是分类问题的一种特殊情况,其中类之间分布不均匀。通常,它们由两个类组成:多数(负)类和少数(正)类。 在不同的领域都会有这样的数据集,例如: 「金融」:欺诈检测数据集的欺诈率通常约为 1%-2%「广告服务」:点击预测数据集的点击率也不高。「运输」/「航空 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入


 

之前跟大家分享了在 pandas 的 apply 函数中用 pd.Series 功能来拆分文本
数据来源于 akshare,由于 akshare 版本的更新,部分接口发生变化,致使上面文章里的代码运行会出错。因此今天也会更新下代码。

此外,在上面文章里应用到了 apply 使用自定义函数的功能,之前文章里,自定义函数只有一个参数。有同学提了一个问题,如果自定义函数有两个参数,该怎么办?

嗯嗯嗯,这是一个好问题!
自定义函数有两个参数的情况,该如何解决。

接下来,还是先更新此前文章的代码。

1.使用apply拆分文本

Pandas 中 apply 函数,应用广泛,今天要跟大家分享一个使用的技巧,使用 apply 将 dataframe 中内容为 list 的列拆分为多列。

拆分前的数据情况,如下图红色标注所示:

 

 

拆分后,如下图所示:

 


这个案例中,这里使用的数据来自 akshare ,在开始前,引入相关 package :

# -*- coding: utf-8 -*-
"""
@Author: Lemon
@出品:Python数据之道
@Homepage: liyangbit.com
"""

import numpy as np
import pandas as pd
import akshare as ak

这里使用的几个 Python 库的版本信息如下:

print('numpy版本:{}'.format(np.__version__))
print('pandas版本:{}'.format(pd.__version__))
print('akshare版本:{}'.format(ak.__version__))

# numpy版本:1.18.1
# pandas版本:1.0.3
# akshare版本:0.7.53

如果代码运行出现问题,请先检查下这几个Python库的版本是否与上面的一致
先从 akshare 获取需要的数据,分为两步,第一步是获取基金代码的列表,如下:

df = ak.fund_em_fund_name().head(20).tail(5)
df = df[['基金代码','基金简称']]
print(df)

第二步是获取基金净值数据和净值日期,通过一个自定义函数来获取,自定义函数如下:

# 自定义函数只有一个参数的情形
# 获取基金单位净值以及净值日期
def get_mutual_fund(code):
    df = ak.fund_em_open_fund_info(fund=code, indicator="单位净值走势")
    df = df[['净值日期', '单位净值','日增长率']]
    # df.columns = ['净值日期', '单位净值', 'equityReturn', 'unitMoney']
    df['净值日期'] = pd.to_datetime(df['净值日期'])
    df = df.sort_values('净值日期',ascending=False)
    unit_equity = df.head(1)['单位净值'].values[0]
    date_latest = df.head(1)['净值日期'].values[0]
    return [unit_equity, date_latest]

对于这个自定义函数,在 pandas 使用 apply 来应用自定义函数,这是使用 apply 的一种常用的方法,如下:

# 获取基金最新的单位净值和净值日期
df['tmp'] = df['基金代码'].apply(get_mutual_fund)
print(df)

获取的数据截图如下:

 

文本拆分

上图中的 tmp 列,就是我们这次需要进行处理的对象。

处理方法可以有多种,这里使用 pandas 中的 apply 来处理,相对来说,也是比较便捷的方式。

在 apply 函数中,使用 pd.Series 就可以达到我们的目的。

# 将单位净值和净值日期单独成列
df[['最新单位净值','净值日期']] = df['tmp'].apply(pd.Series)
df = df.drop('tmp',axis=1)
print(df)

结果如下:

 

2.有两个参数的函数

pandas 中的 apply 函数应用自定义函数时,通常情况下,都是没有参数或者一个参数,那么如果有两个参数,是否还可以使用apply函数呢?

答案是可以的。

这里我们也来探讨下。

还是以上面的案例为基础雏形,同样的,先从 akshare 获取数据

df1 = ak.fund_em_fund_name().head(20).tail(5)
df1 = df1[['基金代码','基金简称']]

接下来,自定义一个带有两个参数的函数,如下:

# 自定义函数有两个参数的情形
# 获取年度年底基金净值数据
def get_mutual_fund_year(code,year):
    year = str(year)
    df = ak.fund_em_open_fund_info(fund=code, indicator="单位净值走势")
    df = df[['净值日期', '单位净值', '日增长率']]
    # df.columns = ['净值日期', '单位净值', 'equityReturn', 'unitMoney']
    df['净值日期'] = pd.to_datetime(df['净值日期'])
    df = df.sort_values('净值日期',ascending=False)
    df = df.set_index('净值日期')[year]
    df = df.reset_index()
    unit_equity = df.head(1)['单位净值'].values[0]
    date = df.head(1)['净值日期'].values[0]
    return [unit_equity,date]

带有两个参数的自定义函数

然后,使用 apply 来应用上面这个带两个参数的自定义函数,核心要点就是嵌套使用 lambda 函数,固定其中一个参数,具体如下

df1['tmp'] = df1['基金代码'].apply(lambda code: get_mutual_fund_year(code, 2019))

后续,依旧是文本拆分,实现代码如下:

# 将单位净值和净值日期单独成列
df1[['最新单位净值','净值日期']] = df1['tmp'].apply(pd.Series)
df1 = df1.drop('tmp',axis=1)
print(df1)

应用场景

有同学可能会问,使用两个参数的自定义函数,有什么用呢?

这里也分享一个应用场景:

根据上面的基础雏形数据,针对具体的年度,建立一个下拉列表,选择不同的年份时,返回不同年份的结果,包括文本数据、表格数据以及图表等。

效果如下:

 

 

涉及到一些个人的数据,就没有完整展示啦~~

其他的应用场景,欢迎大家来分享!

手把手教你用运放搭建方波三角波发生器(附Multisim仿真文件) 本文详细解析了使用运算放大器搭建方波和三角波发生器的核心原理与设计步骤。通过剖析迟滞比较器与积分器的联动机制,指导读者进行电路设计、元件选型,并借助Multisim仿真进行参数调优与波形优化。文章提供了从理论分析、虚拟仿真到实物焊接调试的完整实践指南,并附有仿真文件,帮助硬件爱好者与初学者深入掌握这一经典模拟电路设计。 阅读详情

相关推荐

LaTeX小白必看:TeX Live+TeXstudio保姆级安装教程(附清华镜像加速)

本文为LaTeX新手提供了一份详尽的TeX Live和TeXstudio安装指南。通过清华大学镜像站实现高速下载,并详细讲解了从下载、定制化安装到配置优化的每一步,帮助用户快速搭建稳定高效的本地LaTeX写作环境,轻松处理学术文档排版。

weixin_29214559的博客 415

pandas的apply函数使用

参考博客 https://blog.youkuaiyun.com/weixin_42512684/article/details/107461383 测试案例1 import numpy as np import pandas as pd x=np.array([[1,2,3],[2,3,4],[1,2,2],[1,2,2]]) df=pd.DataFrame(x) print(df) 对某一列进行操作 import pandas as pd import numpy as np from sklearn imp

qq_45759229的博客 1361

从SPI协议到文件系统:手把手教你用HAL库给W25Q16移植FATFS(附扇区管理优化方案)

本文详细介绍了如何在STM32平台上,通过HAL库的SPI接口为W25Q16 Flash芯片移植FATFS文件系统。文章从SPI通信基础讲起,深入解析了FATFS底层驱动(diskio.c)的移植要点,并重点探讨了针对W25Q16的4KB物理扇区特性进行扇区管理优化的两种方案,旨在帮助开发者构建稳定高效的文件存储方案。

happy2的博客 1045

import pandas 使用方法

对于数据科学家,无论是数据分析还是数据挖掘来说,Pandas是一个非常重要的Python包。它不仅提供了很多方法,使得数据处理非常简单,同时在数据处理速度上也做了很多优化,使得和Python内置方法相比时有了很大的优势。 导入数据 pd.read_csv(filename):从CSV文件导入数据 pd.read_table(filename):从限定分隔符的文本文件导入数据 pd...

一米阳光 3万+

保姆级教程 | MS构建三层石墨后转成LAMMPS的data文件

喜欢的话记得一键三连~

baguette的博客 2954

Ubuntu22.04 网络图标消失与连接故障排查指南(附实战修复流程)

本文详细介绍了Ubuntu22.04系统中网络图标消失与连接故障的排查与修复方法。通过ifconfig、dhclient等命令诊断问题,提供从紧急恢复网络连接到深度排查的完整解决方案,帮助用户快速恢复网络功能并预防类似问题再次发生。

weixin_28481133的博客 289

pandas中的apply()使用

记录pandas中的apply()函数的基本用法

weixin_45186425的博客 3480

UE4初学笔记_02_编辑器界面

不同版本可能不一样,这里是4.25 UE4编辑器主界面(也称为关卡编辑器)主要用于构建世界场景和关卡以及放置资源。 1.菜单栏 2.关卡编辑器(Level Editor)工具栏 3.“模式”(Modes)面板 4.“内容浏览器”(Content Browser)面板 5.“视口”(Viewport)面板 6.“世界大纲视图”(World Outliner)面板 7.“细节”(Details)面板 1.菜单栏 菜单栏包含“文件”(File) 、“编辑”(Edit) 、“窗口”(Win.

来自火星的猫 3094

pandas进阶--Series的apply方法

本文介绍了Series的apply方法,包括apply方法的具体介绍、以及传递不同函数时的使用用例。

qq_38727995的博客 4944

《科研伦理与学术规范》期末考试答案2023

26单选(2 分)某学术杂志的评稿人同时是某高校相关专业的硕士生导师,在评判一个稿件的时候,他发现该作者研究的题目很有价值, 他便一边压下这个稿子,一边将稿子的纲要传给自己门下的硕士生, 指导他们使用这个题目独立写出一篇论文,并帮助他们发表在其他期 刊上。D.要善待实验动物,是指在饲养管理和使用实验动物过程中,要采取有效措施,使实验动物免遭不必要的伤害、饥渴、不适、惊恐、折磨、疾病和疼痛,保证动物能够实现自然行为,受到良好的管理与照料,为其提供清洁、舒适的生活环境。张某在压力之下不得不屈从。

Glenseeds的博客 4万+

CentOS7 编译升级GCC至9.3.0

1)下载GCC9.2.0源码并解压 从GCC官方FTP下载地址可以看到GCC最新版本为9.3.0。由于官网下载速度慢,实际上用清华大学的镜像站进行下载,代码如下: wget -c /opt/tmp/ https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-9.3.0/gcc-9.3.0.tar.gz #考虑到安装失败的可能性,创建一个临时文件夹来安装GCC...

haha123486的博客 1万+

Pandas 的这个知识点,估计 80% 的人都得挂!

作者:Lemon来源:Python数据之道Pandas 的这个知识点,估计 80% 的人都得挂!大家好,我是 Lemon,今天来跟大家分享下 pandas 中 apply 函数的一个技巧...

Python数据之道 855

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

pandas 以字符串读取数据_Pandas 必知必会的18个实用技巧,值得收藏!!

干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集,毫不夸张地说,数据清洗会占据他们80%的工作时间,而真正用来分析数据的时间只占到20%左右。所以,数据清洗到底是在清洗些什么?通常来说,你所获取到的原始数据不能直接用来分析,因为它们会有各种各样的问题,如包含无效信息,列名不规范、格式不一致,存在重复值,缺失值,异常值等.....本文会给大家介绍一些Pyt...

weixin_29505609的博客 6982

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

这20个Pandas函数可以完成80%的数据科学工作

以上这20个pandas函数,绝对可以帮助我们万行80%以上的任务,我们这里只是简单的总结,想group,merge等参数比较多并且常用的函数可以通过pandas的文档进一步熟悉,这将对我们的工作有很大的帮助。作者:Youssef Hosni。

deephub 6607

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

pandas 以字符串读取数据_Pandas 必知必会的18个实用技巧,值得收藏

干净整洁的数据是后续进行研究和分析的基础。数据科学家们会花费大量的时间来清理数据集,毫不夸张地说,数据清洗会占据他们 80% 的工作时间,而真正用来分析数据的时间只占到 20% 左右。 所以,数据清洗到底是在清洗些什么?通常来说,你所获取到的原始数据不能直接用来分析,因为它们会有各种各样的问题,如包含无效信息,列名不规范、格式不一致,存在重复值,缺失值,异常值等.....本文会给大家介绍一些 Py...

weixin_39988331的博客 2079

Pandas 数据清洗进阶技巧,解决工作中 80% 的数据问题

df = df.replace([“”, “未知”], np.nan)# 计算四分位数# 异常值边界# 筛选异常值df = df.drop_duplicates(subset=[“用户ID”], keep=“last”)print(“去重后数据总行数:”, len(df))print(“去重后用户ID重复数量:”, df.duplicated(subset=[“用户ID”]).sum())

2301_81680467的博客 293

Python量化神器:用Pandas分析股票数据,这些技巧你都知道吗?

记得刚入行那会儿,我还在用Excel手动整理股票数据,每天复制粘贴到手抽筋。直到有天同事看我对着屏幕龇牙咧嘴,甩给我一行代码:"import pandas as pd"。那一刻,我的量化分析生涯才算真正开始。Pandas就像是为金融数据量身定制的瑞士军刀。上周有个客户问我:"你们专业机构怎么分析股票?"我直接打开Jupyter笔记本,三行代码就把他三年交易记录里的买卖点全可视化出来了。他眼睛瞪得跟K线图上的十字星似的:"原来你们是这样玩的!

wencaitouzi的博客 584

Dify + Pandas协同处理超大Excel(资源占用降低80%的秘密)

高效解决Dify Excel大文件提取难题,利用Dify与Pandas协同处理,显著降低80%资源占用,适用于海量数据清洗与自动化提取场景。方法简单,性能提升显著,值得收藏。

BreakVein的博客 773

pandas--在日常数据分析工作中80%场景会用到的功能

df['result'] = np.where(df['score'] >= 60, '及格', '不及格')pd.merge(left, right, on='key', how='left') # 左连接。df[df['city'].isin(['北京', '上海', '广州'])]df['gender'].map({'男': 'M', '女': 'F'})df = pd.read_csv('file.csv') # 最常用。df[df['name'].str.contains('张')]

2502_94754303的博客 609

可以完成80%的数据分析工作的20个Pandas函数

以上这20个pandas函数,绝对可以帮助我们完成80%以上的任务,我们这里只是简单的总结,想group,merge等参数比较多并且常用的函数可以通过pandas的文档进一步熟悉,这将对我们的工作有很大的帮助。在上面的例子中,df.Iloc[0]选择第一行,Iloc[:2]选择前两行,Iloc[:, 0]选择第一列,Iloc[:,:2]选择前两列,Iloc[1,1]选择位于(第二行,第二列)(1,1)位置的元素。该函数返回一个新的DataFrame,其中只包含两个DataFrame中指定列中的值匹配的行。

abackcab的博客 1008

3分钟提速80%:LightGBM与Pandas DataFrame的深度优化指南

你是否还在为机器学习模型训练时的数据处理效率低下而烦恼?当面对数十万行的Pandas DataFrame时,特征工程和模型训练的等待时间是否让你抓狂?本文将揭示LightGBM框架如何通过精心设计的Pandas集成方案,解决数据类型转换、内存占用和训练效率三大痛点,让你的数据处理流程提速80%以上。读完本文,你将掌握从数据加载到模型调优的全流程优化技巧,学会利用LightGBM的自动类型推断、分类...

gitblog_01016的博客 830

Python入门之数据处理——12种有用的Pandas技巧

本文转载自:https://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=403087765&idx=2&sn=5149c58febd1552972250a07fa6cef15&pass_ticket=wJo%2B3Fh4gmnc6IVN%2BqbKeUruD3wTQXABSRkd%2FsYnsf6%2FHGgsaO%2...

weixin_30344131的博客 198

数据预处理效率提升80%,你必须掌握的drop操作技巧

掌握Pandas按行/列删除数据(drop)技巧,轻松提升数据预处理效率80%。适用于清洗冗余字段、剔除异常样本等场景,支持标签索引与条件筛选删除,操作简洁高效。灵活运用inplace、axis参数,大幅提升代码执行速度。值得收藏的实用指南。

VarIsle的博客 926
上一篇: Pandas 的这个知识点,估计 80% 的人都得挂!
下一篇: 调试Python代码,不要再用Print了!
酸菜鱼编程
博客等级 码龄6年 155粉丝 63原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值