python数据分析基本语法:数据类型转换,pandas分组,级联合并操作等

7.pandas合并merge import pandas as pd left = pd.DataFrame({'key':['K0','K1','K2','K3'], 'A':['A0','A1','A2','A3'], 'B':['B0','B1','B2','B3']}) right = pd.DataFrame({'key':['K0','K1','K2','K3'], 'C':['C0','C1', 阅读详情

1.删除无用的列

df.drop(labels='列名',axis=1,inplace=True) #inplace=True代表替换原表

2.数据类型转换成时间序列类型

df['列名'] = pd.to_datetime(df['列名'])

3.将某列做为原始数据的行索引

df.set_index(df['列名'],inplace=True)

4.定位条件

df.loc[(df['close']-df['open'])/df['open']>0.03]
df.loc[df['列名'] =='值']
indexs = df.loc[df['state/region'] =='USA'].index  #获取索引
abb_pop.loc[indexs,'列名'] ='值' 
abb_pop_area.query('列名== "值" & 列名==值')  #条件查询

5.计算滚动均值

如:计算5日均值,滚动数据取值

ma5 = df['列名'].rolling(5).mean()

6.pandas分组

df['target']=np.where(df['score']>60 ,'及格','不及格')
df['rank'] = pd.cut(df ['score'],bins=[0,60,75,85,100],labels=['不及格','及格','良好','优秀'],right=True)
df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
                'price':[4,3,3,2.5,4,2],
               'color':['red','yellow','yellow','green','green','green'],
               'weight':[12,20,50,30,20,44]})
df.groupby(by='item') #对不同种类的水果进行分组
#查看分组情况
df.groupby(by='item').groups
#计算出每一种水果的平均价格
df.groupby(by='item').mean()['price'] #不推荐
df.groupby(by='item')['price'].mean() #推荐
#数据汇总:将水果的平均价格汇总到源数据中
mean_price = df.groupby(by='item')['price'].mean()
mean_price

7.pandas处理空值

df.notnull()    #返回false代表为空,True不为空
df.notnull().all(axis=1)  #all,false表示改行存在空值
df.loc[df.notnull().all(axis=1)]  #定位不包含空值的行
df.loc[~df.isnull().any(axis=1)]  #定位不包含空值的行
df.isnull()  #为空返回True,不为空返回False
df.dropna(axis=0)  #将元数据中存在空值的行数据删除,axis=1即删除列
df.fillna(value='666')  #将空填充
df.fillna(method='ffill',axis=0)  #向前填充
df.fillna(method='bfill',axis=0) #向后填充
df.fillna(method='ffill',axis=0).fillna(method='bfill',axis=0)  #向前填充一次,再向后填充一次

8.pandas处理重复值

df.drop_duplicates()  

9.pandas处理异常值

如:定位大于两倍标准差的行

df.loc[~(df['C']>twice_std)]

10.python生成日历

乱入,哈哈

import calendar
 
# 输入指定年月
yy = int(input("输入年份: "))
mm = int(input("输入月份: "))
# 显示日历
print(calendar.month(yy,mm))

11.pandas级联操作

pd.concat((df1,df1),axis=1)  #匹配级联
pd.concat((df1,df2),axis=0)  #不匹配级联
pd.concat((df1,df2),axis=0,join='inner')  #不匹配级联,inner join
pd.concat((df1,df2),axis=0,join='outer')  #不匹配级联,outer join
df1.append(df2)

12.pandas合并操作

pd.merge(df1,df2,on='列名')  
pd.merge(df3,df4)  #不使用on指明合并条件则默认使用两张表共有的公共的列作为条件合并
df3 = pd.merge(df1,df2,left_on='df1列名',right_on='df2列名',how='outer')

13.pandas数据排序

DataFrame.sort_values(by, axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last') 
#by:str or list of str;如果axis=0,那么by="列名";如果axis=1,那么by="行名"。
#axis:{0 or ‘index’, 1 or ‘columns’}, default 0,默认按照列排序,即纵向排序;如果为1,则是横向排序。
#ascending:布尔型,True则升序,False降序
#inplace:布尔型,是否用排序后的数据框替换现有的数据框。
#kind:排序方法,{‘quicksort’, ‘mergesort’, ‘heapsort’}, default ‘quicksort’。
df.sort_values(by='列名',ascending=False)

14.pandas生成随机数

df = DataFrame(data=np.random.randint(0,100,size=(5,6)))  #生成5行6列数值范围再0到100之间的随机矩阵

15.pandas替换操作

df.replace(to_replace=8,value='eight')  #单值替换
df.replace(to_replace={8:'eight',11:'666111'}) #多值替换
df.replace(to_replace={3:74},value=7744)  #指定列的替换操作

16.pandas映射操作

dic = {
    'name':['张三','李四','张三'],
    'salary':[15000,20000,15000]
}
df = DataFrame(data=dic)
dic = {
    '张三':'Tom',
    '李四':'Jerry'
    
} #映射关系表:指定好了一一的映射关系
df['e_name'] = df['name'].map(dic)
#map是Series的方法,只能被Series调用

17.python透视表

import pandas as pd
import numpy as np
df = pd.read_csv('../data/透视表-篮球赛.csv',encoding='utf8')
df.pivot_table(index=['对手','主客场'])
df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'])
df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'],aggfunc='sum')
df.pivot_table(index=['主客场','胜负'],aggfunc={'得分':'sum','篮板':'mean','助攻':'max'})
#获取所有队主客场的总得分
df.pivot_table(index='主客场',values='得分',aggfunc='sum')
#获取每个队主客场的总得分(在总得分的基础上又进行了对手的分类)
df.pivot_table(index='主客场',values='得分',columns='对手',aggfunc='sum',fill_value=0)

18.pandas交叉表

df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'],
               'age':[15,23,25,17,35,57,24,31,22],
               'smoke':[True,False,False,True,True,False,False,True,False],
               'height':[168,179,181,166,173,178,188,190,160]})
pd.crosstab(df.sex,df.smoke)  #求出各个性别抽烟的人数
pd.crosstab(df.age,df.smoke)  #求出各个年龄段抽烟人情况

最近都没有好好的记录,批评自己一下,还是要记得记录,要学的还有很多很多,要记下来才能用呀!也要多出去走走,也要好好运动,好好背单词!

在这里插入图片描述

《利用Python进行数据分析》阅读笔记 利用Python进行数据分析》这本书是由Wes McKinney编写的,他是Python pandas项目的创始人。这本书详细介绍了如何使用pandas进行数据分析,以及如何利用Python的其他库,如NumPy和IPython,来处理、清洗和规整数据。Series和statsmodels是Python的一个库,用于拟合多种统计模型,进行统计测试和数据探索。scikit-learn是Python的一个库,支持简单和复杂的机器学习算法。 阅读详情

相关推荐

116、Python数据绘图秘籍:Pandas与Matplotlib的完美融合

本文介绍了Python数据分析和绘图的利器——Pandas与Matplotlib库的联合使用。通过实际案例展示了如何利用这两个库进行数据清洗、转换、分组、绘图等操作,实现了复杂数据分析和可视化的目的。文章涵盖了从基础到进阶的内容,包括绘图美化、箱线图绘制、交互式图表以及复杂数据结构的绘图等技巧。读者可以全面了解Pandas和Matplotlib的功能和用法,提升数据处理和分析的能力。

silenceallat的博客 710

Pandas数据预处理Pandas合并数据集在线闯关_头歌实践教学平台

data.csv和data1.csv是两份与各国幸福指数排名相关的数据,为了便于查看排名详情,所以需要将两份数据横向合并。本关任务:使用read_csv()读取两个csv文件中的数据,将两个数据集合并,将索引设为Ladder列,并将缺失值填充为0。本关为练习关卡,请按照编程要求完成任务,获取美国各州2010年的人口密度排名。本关任务:使用pandas中的merge()函数按照编程要求合并三份数据。

为者常成,行者常至! 6211

Excel 与 Python 的强强联合:开启数据分析与处理的新大门 

在数据处理和分析的世界里,Excel 一直是大家耳熟能详、应用广泛的工具,凭借其直观的界面和丰富的函数,能够轻松应对许多基础的数据操作。- 员工流失预警:更进一步,我们可以基于员工的入职时间、绩效评分等多维度数据,运用 Python 的机器学习库(比如构建一个简单的逻辑回归模型)来预测哪些员工可能存在流失风险,将预测结果标记在 Excel 表格中相应的员工记录旁边,这样人力资源部门就能提前采取相应的措施,如进行员工关怀、提供培训提升机会等,有效降低员工流失率啦。

qq_57128262的博客 1485

EduCoder Pandas合并数据集 第二关:合并与连接

文章目录任务描述相关知识数据连接的类型merge()的主要参数测试说明 任务描述 本关任务:使用pandas中的merge()函数按照编程要求合并三份数据。 相关知识 merge()可根据一个或者多个键将不同的DataFrame连接在一起,类似于SQL数据库中的合并操作。 参数名 说明 left 拼接左侧DataFrame对象 right 拼接右侧DataFrame对象 on 列(名称)连接,必须在左和右DataFrame对象中存在(找到)。 left_on 左侧DataFr.

weixin_43608722的博客 6562

Python数据分析:【NumPy系列】NumPy 和 Pandas:数据分析的强强联合

NumPy 是高性能科学计算和数据分析的基石,而 Pandas 是在此基础上建立的,专门用于数据处理和分析的库。它们一起,就像是数据分析的蝙蝠侠和罗宾。

若北辰 614

深入瑞芯微ISP生态:手把手配置RK3588上的RKAIQ Server并与Windows端RKISP Tuner联调

本文详细介绍了如何在RK3588平台上配置RKAIQ Server并与Windows端的RKISP Tuner进行联调,以实现高效的ISP调优。从环境准备、服务部署到实战调试,涵盖了IMX415相机适配等关键步骤,帮助开发者快速掌握瑞芯微ISP生态的核心技术。

weixin_32447969的博客 671

python pandas 合并_利用Python进行数据分析_Pandas_数据清理、转换、合并、重塑

1 合并数据集pandas.mergepandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, vali...

weixin_39771791的博客 235

别再瞎调参数了!分子动力学模拟新手必看的力场选择与验证实战指南

本文为分子动力学模拟新手提供力场选择与验证的实战指南,详细解析主流力场特性及适用场景,并通过水分子案例演示完整的验证流程。文章重点对比SPC/E、TIP3P和OPLS-AA三种力场在GROMACS中的表现,帮助读者避免常见参数调整误区,提升模拟准确性。

weixin_26934905的博客 426

头歌-Pandas合并数据集-第2关:合并与连接

实际的预期输出与题目中的预期输出不一样,让我这个菜鸡一顿好改,生气。严谨点出题吧,对我这个菜鸟很不友好,大声哭泣。

Du1465的博客 2209

Duplicate Cleaner Pro 5.16 保姆级教程:如何用哈希值精准清理重复文件(附音频/视频模式详解)

本文详细介绍了Duplicate Cleaner Pro 5.16如何利用哈希值技术精准清理重复文件,特别针对音频、视频和图片等多媒体文件提供了专业解决方案。通过哈希算法比对和多媒体特征识别,帮助用户高效管理存储空间,提升文件整理效率。

weixin_27032989的博客 573

C++中const和指针*的组合问题

今天在复习> 章节7.3的时候想到以前做的一个题,const和指针运算符*的若干种组合的合法性和意义问题,有点混淆,所以写了一个测试代码来验证一下,简单明了,一目了然。如果有什么遗漏的话欢迎指出。 首先是在Ubuntu14.04.1下用gcc 4.8.4编译运行的结果,编译器报错信息都附加在对应语句后面的注释里 /* * Note : Test for the combinations of

theColdOne的专栏 1086

python中的NumPy和Pandas往往都是同时使用,NumPy和Pandas的在数据分析中的联合使用

NumPy和Pandas是Python中两个非常重要的科学计算和数据处理库,它们可以互相配合使用,实现更高效的数据处理和分析。NumPy是一个用于数值计算的库,它提供了一个多维数组对象和一系列的函数,可以方便地进行数值计算、矩阵操作、数学变换等操作。以下是NumPy的一些常用功能:创建多维数组:使用NumPy可以方便地创建二维、三维甚至更高维度的数组对象,并且可以对数组进行各种操作,如切片、索引、重塑等。数学计算:NumPy提供了大量的数学函数,可以对数组进行各种计算,如加、减、乘、除、平方、开方等。

qlkaicx的博客 2969

RTK_ROS_导航(4):接入move_base

现在我们要将之前的数据接入到Move_base中,使得机器人能够根据Map上的终点进行导航,并且实现避障效果如下图。

旋风小短腿 1948

数据聚合与分组操作(数据分析)

第10章 数据聚合与分组操作 对数据集进行分类,并在每一组上应用一个聚合函数或转换函数,这通常是数据分析工作流中的一个重要部分。在载入、合并、准备数据集之后,你可能需要计算分组统计或者数据透视表用于报告或可视化的目的。pandas提供一个灵活的groupby接口,允许你以一种自然的方式对数据集进行切片、切块和总结。 在本章,你将学习如何: ·使用一个或多个键(以函数、数组或DataFrame列名的形式)将pandas对象拆分为多块 · 计算组汇总统计信息,如计数、...

qq_42433311的博客 7880

innovus:streamOut gds中pg text带有冒号(:)解决办法

streamOut后查看layout,发现部分PG text后面加了冒号,比如VDD: / VSS:。当然,这个问题还有另一种解决办法,就是通过脚本给terminal打text再streamOut。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 1193

医疗AI知识库更新慢?提示工程架构师用Agentic AI自动更新的策略

我们的目标是用Agentic AI替代传统更新流程中的“重复劳动”,让医疗知识库(以知识图谱为例)能自动跟踪最新医学进展,把“更新周期从数月缩短到数天”。从PubMed/指南数据库自动抓取新文献;用提示工程从文本中提取结构化医学知识;自动校验新知识与旧知识的冲突;将通过校验的知识写入知识图谱。拆问题:先讲医疗知识库更新慢的3大根源;给方案:用Agentic AI设计4个“小助手”解决问题;讲原理:每个小助手的工作逻辑+提示工程技巧;做实战。

AI 原生应用开发的博客 1063

Python中的结构化数据分析利器-Pandas简介

Pandas是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(pane

promise_LOVE的专栏 8066

【Simulink教程案例19】基于simulink的扩频通信系统建模与仿真

扩频是一种应用于数字调制信号的调制技术,可以提高传输信号的带宽。扩频通信具有抗干扰能力强,扩频增益越大,抗干扰能力越强。而且扩频通信具有很强的保密性,扩频后信号近似白噪声,功率谱密度也很低。扩频通信可用于多址通信。扩频调制有如下三个特点:① 扩频后信号的带宽远大于信号所需的带宽② 使用扩频码进行扩频调制,扩频码与信号中的数据相互独立③ 在接收端,通过将接收信号与扩频码的同步副本进行相关,实现解扩。

FPGA/MATLAB学习教程/源码/项目合作开发 2197

PySpark数据分析基础:PySpark基础功能及DataFrame操作基础语法详解

Spark框架深度理解一开发缘由及优缺点Spark框架深度理解二生态圈Spark框架深度理解三运行架构、核心数据集RDDPySpark只是通过JVM转换使得Python代码能够在Spark集群上识别运行。故Spark的绝大多数功能都可以被Python程序使用。一文速学-PySpark数据分析基础PySpark原理详解已经把PySpark运行原理讲的很清楚了,现在我们需要了解PySpark语法基础来逐渐编写PySpark程序实现分布式数据计算。已搭建环境Spark3.3.0Hadoop。...........

master_hunter的博客 1万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

chatgpt赋能python:Python分组排序:优雅地管理数据集

本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

laod112的博客 270

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

利用Python进行数据分析(Ⅳ)

利用Python进行数据分析(Ⅳ) 本文参考书籍:《利用Python进行数据分析》 目录利用Python进行数据分析(Ⅳ)10.数据聚合与分组操作10.1 GroupBy机制 10.数据聚合与分组操作    10.1 GroupBy机制   在操作的第一步,数据包含在pandas对象中,可以是Series、DataFrame或其他数据结构,之后根据你提供的一个或多个键分离到各个组中。分离操作是在数据对象的特定轴向上进行的。例如,DataFrame可以在它的行方向(axis=0)或列方向(axis=1)进行分

qq_44709990的博客 1346

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

数据聚合和分组操作

在数据分析中,经常需要对数据集进行分类,并在每一组上应用一个聚合函数或转换函数,pandas提供一个灵活的groupby接口,可以方便得进行数据聚合和分组操作。(函数的解释在代码块内部) GroupBy机制 之前在学习R的时候,已经接触过拆分-应用-联合,原理是差不多的。 下面结合例子来学习groupby。 import numpy as np import pandas as pd #生成da...

白炎灵的博客 969

python数据分组聚合_利用Python进行数据分析(4)- 数据聚合和分组操作

第十章主要讲解的数据聚合与分组操作。对数据集进行分类,并在每一个组上应用一个聚合函数或者转换函数,是常见的数据分析的工作。本文结合pandas的官方文档整理而来。**groupby机制组操作的术语:拆分-应用-联合split-apply-combine。分离是在特定的轴上进行的,axis=0表示行,axis=1表示列Splitting the data into groups based on s...

weixin_39876645的博客 491

从零开始学 Pandas:数据处理核心操作指南

本文系统介绍了Pandas数据处理的核心操作流程。首先讲解了数据导入导出方法,包括CSV、Excel等格式文件的读写。其次详细阐述了数据清洗技术,包括缺失值处理和重复值处理。然后介绍了数据抽取与转换的关键操作,如条件筛选、字符串截取和数值计算。接着讲解了数据合并技巧,包括列的拼接和数据框的整合。最后介绍了高级处理技术,包括随机抽样、数据标准化和分组离散化。全文通过具体代码示例,完整呈现了从数据获取到数据预处理的完整流程,为数据分析工作奠定了坚实基础。

2201_75607087的博客 1489

python利器跟python一样吗-(转)Python中的结构化数据分析利器-Pandas简介

Pandas是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel da...

weixin_37988176的博客 287

Pandas分组重采样:多维时间序列的高效对齐与聚合

时间序列分析中,当需同时按实体分组(如设备、用户、股票)和按时间切片(如日、小时、交易周)进行聚合时,传统groupby+resample串联无法满足语义正确性与性能要求。其本质是多维时间序列的联合建模问题,依赖pandas底层MultiIndex重构与Cython优化路径。关键技术价值在于保障时间桶对齐精度(如closed/label/origin协同控制)、跨分组时间轴连续性,以及百万级数据下的亚秒级响应。典型应用场景包括IoT设备监控、金融时序风控、用户行为分群分析等。本文聚焦pandas中group

weixin_30660027的博客 423
上一篇: 爬虫实战:链家租房数据爬取,实习僧网站数据爬取
下一篇: 《数据化管理-洞悉零售及电子商务运营》-零售行业分析指标,电商行业分析指标等
free youreself
博客等级 码龄8年 20粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值