pandas基础

Pandas 基础学习 Pandas 是一个开源的第三方 Python 库,从 Numpy 和 Matplotlib 的基础上构建而来,Pandas 可以对各种数据进行运算操作,比如归并、再成形、选择,还有数据清洗和数据加工特征。 阅读详情

文件读取与写入

  • 文件读取的格式:
    pd.read_csv(‘文件名’)
    pd.read_txt(‘文件名’)
    pd.read_excel(‘文件名’) 前提:有xlrd包
    read_hdf ,read_sql,read_json,read_html
    还有stata,sas,clipboard,pickle
  • 写入文件格式:
    data.to_csv(‘文件名’,index=False) #保存时除去行索引
    data.to_excel(‘name.xlsx’, sheet_name=‘Sheet1’) 前提:有openpyxl包

基本数据结构

1. Series

  • Series有四个属性为值(value),索引(index),名字(name),类型(dtype)
    eg.
    name = pd.Series(np.random.randn(2),index=[‘a’,‘b’],name=‘这是一个Series’,dtype=‘float64’)
    output:
    a 1.433496
    b -0.005432
    Name: 这是一个Series, dtype: float64
  • 通过索引取元素:name[‘a’]

2. DataFrame

  1. DataFrame有名称的矩阵,框架:
    -index是行的名称,columns是列名 pd.DataFrame(np.random.randn(6,4),index=dates,columns = [‘a’,‘b’,‘c’,‘d’])
    -按字典形式创建:pd.DataFrame({‘col1’:list(‘abcde’),‘col2’:range(5,10),‘col3’:[1.3,2.5,3.6,4.6,5.8]}, index=list(‘一二三四五’))

  2. 修改行/列名:df.rename(index/columns={‘oldname’:‘newname’})

  3. 索引对齐特性:算数运算时,索引相同的项对应运算
    df1 = pd.DataFrame({‘A’:[1,2,3]},index=[1,2,3])
    df2 = pd.DataFrame({‘A’:[1,2,3]},index=[3,1,2])
    df1-df2 #由于索引对齐,因此结果不是0

  4. 删除,可以使用drop函数或del或pop
    df.drop(index=‘五’,columns=‘col1’) ?inplace=False在原DataFrame中改动 默认false?
    df[‘col1’]=[1,2,3,4,5] del df[‘col1’]
    df[‘col1’]=[1,2,3,4,5] df.pop(‘col1’) 返回被删除的列

  5. 增加:
    df1[‘B’]=list(‘abc’)
    df1.assign(C=pd.Series(list(‘def’)))assign方法不会对原DataFrame做修改(注意:list默认索引从0开始)

  6. 根据类型选择列:
    df.select_dtypes(include=[‘number/float/int等’]).head()

  7. 将Series转换为DataFrame:
    s.to_frame()
    s.to_frame().T 转置

常用基本函数

  1. df.head(n)显示前n行 同理:df.tail(n)后n行
  2. unique和nunique:
    nunique显示有多少个唯一值:df[‘Physics’].nunique()
    unique显示所有的唯一值
  3. count和value_counts
    count返回非缺失值元素个数:df[‘Physics’].count()
    value_counts返回每个元素有多少个
  4. describe和info
    info函数返回有哪些列、有多少非缺失值、每列的类型:df.info()
    describe默认(df[‘Physics’].describe()可以描述非数值型数据)统计数值型数据的各个统计量(mean std max min …)可自行选择分位数:df.describe(percentiles=[.05, .25, .75, .95])
  5. idxmax和nlargest
    idxmax函数返回最大值索引 df[‘Math’].idxmax()
    nlargest函数返回前n个大的元素值 df[‘Math’].nlargest(n)
  6. clip和replace替换函数
    clip是对超过或者低于某些值的数进行截断(超过的改为上限值,低于的改成下限值)
    replace对某些值进行替换:street_1变成one,street_2变为two
    df[‘Address’].replace([‘street_1’,‘street_2’],[‘one’,‘two’])
    df.replace({‘Address’:{‘street_1’:‘one’,‘street_2’:‘two’}})
  7. apply函数
    df[‘Math’].apply(lambda x:str(x)+’!’) 迭代Series每一列的值操作
    df.apply(lambda x:x.apply(lambda x:str(x)+’!’))迭代DataFrame每一个列操作第一个lambda函数中的x是School等列索引,后面一个lambda函数中的x看做是其对应所有的元素,用apply方法分别进行了遍历
    不清楚函数传入了什么,可以用lambda x:print(x)看一下
    apply函数理解

排序

  1. 索引排序
    df.set_index(‘Math’).sort_index()
    set_index函数可以设置索引为math列
    sort_index()默认按索引值升序排列,即ascending=True

  2. 值排序
    df.sort_values(by=‘Class’)
    df.sort_values(by=[‘Address’,‘Height’]).head()
    多个值排序,即先对第一层排,在第一层相同的情况下对第二层排序

问题练习总结

图源自阿布
思维导图
【问题一】 Series和DataFrame有哪些常见属性和方法?
Series:属性value,name,index,dtype 方法:mean DataFrame:index,columns,values,shape 方法:del,drop,pop,assign,T

【问题二】 value_counts会统计缺失值吗?
不会

【问题三】 与idxmax和nlargest功能相反的是哪两组函数?
idxmin和nsmallest

【问题四】 在常用函数一节中,由于一些函数的功能比较简单,因此没有列入,现在将它们列在下面,请分别说明它们的用途并尝试使用。
sum求和/mean求均值/median求中位数/mad中位数绝对偏差/min求最小/max最大/abs绝对值/std标准差/var方差/quantile分位数/cummax累计求最大/cumsum累计求和/cumprod累计求积
【问题五】 df.mean(axis=1)是什么意思?它与df.mean()的结果一样吗?第一问提到的函数也有axis参数吗?怎么使用?
df.mean(axis=1)代表按行计算均值,结果不同;有这个参数,axis=1表示按行操作,也就是沿着x轴水平方向操作,axis=0表示按列操作,沿着垂直方向。

pandas学习之pandas基础 感想 一、窗口对象 pandas 中有 3 类窗口,分别是滑动窗口 rolling 、扩张窗口 expanding 以及指数加权窗口 ewm。 1、rolling():移动窗口,常用参数window ab= pd.Series([1,2,3,4,5,6,7,8,9,10]) ab.rolling(window=2).sum() 返回结果: 很容易发现,window参数就相当于一个移动切片,从第window个数据开始往前截取window个数据。 小练习: rolling 对象的默认窗口方向都是向前的 阅读详情

相关推荐

joyful pandas第1章 Pandas基础

第1章 Pandas基础Learning Objective理论部分一、文件读取与写入1. 读取(a)csv格式(b)txt格式(c)xls或xlsx格式2. 写入(a)csv格式(b)xls或xlsx格式 Learning Objective Task01:Pandas基础(1天) 理论部分 掌握常见文件格式的读写操作 理解并熟悉 Series 和 DataFrame 的重要属性和重要方法 掌...

weixin_45661573的博客 1246

Pandas:Pandas基础

Pandas基础 1. Pandas文件读取 import pandas as pd import numpy as np """ pandas读取数据最常见的有读取csv,excel,txt文件,分别用read_csv,read_excel,read_table三个函数读取.他们传入的参数主要有文件路径,header=Non e表示第一行不作为列名, index_col 表示把某一列或几列作为索引,usecols表示读取列的集合,默认读取所有的列,parse_dates 表示需要转化为时间的列,nr ow

rain的博客 373

【Pandas】pandas Series reindex

`pandas.Series.reindex` 是一个用于重新索引 `Series` 对象的方法,允许用户根据新的索引对数据进行重排或填充。以下是该方法的参数说明

weixin_39648905的博客 1959

【Pandas】pandas merge

`pandas.merge` 是 Pandas 库中用于合并两个或多个 DataFrame 的主要函数。这个函数非常灵活,可以通过不同的参数来定制合并的行为。以下是对 `pandas.merge` 每个参数的详细介绍,以及相应的示例和结果。

weixin_39648905的博客 2141

华为AR6140E/S5735设备密码策略配置全攻略:从复杂度到锁定机制

本文详细介绍了华为AR6140E/S5735设备的密码策略配置方法,涵盖密码复杂度、时效性和防护性三大核心维度。通过具体的CLI命令示例,指导管理员如何设置密码长度、字符组合、有效期及登录失败锁定等安全机制,为企业网络提供全面的用户名密码防护策略。

weixin_30836759的博客 532

Seurat 单细胞转录组测序数据分析教程(三)——python(scanpy)

文章参考至,做了一个更详细的解读。本教程探讨了 scanpy 的可视化可能性,分为三个部分:嵌入的散点图(例如 UMAP、t-SNE)使用已知标记基因鉴定簇差异表达基因的可视化在本教程中,我们将使用来自 10x 的数据集,其中包含来自PBMC的 68k 个细胞。Scanpy 在其分布中包括该数据集的简化样本,该数据集仅包含 700 个细胞和 765 个高度可变的基因。该数据集已经过预处理和 UMAP 计算。在本教程中,我们还将使用以下文献标记:B细胞:CD79A、MS4A1。

coffeeii的博客 5832

Pandas库基础学习

在当今数字化时代,数据已成为推动各领域发展的核心要素。无论是金融领域的市场趋势预测、科研项目的数据建模,还是商业运营中的客户行为分析,海量的数据都蕴含着宝贵的信息。如何从繁杂的数据中提取有价值的内容,成为了数据从业者面临的关键挑战。而 Python 作为一种强大且灵活的编程语言,凭借其丰富的库和工具,为数据处理和分析提供了高效的解决方案,其中 pandas 库更是占据了举足轻重的地位。

2403_88540808的博客 966

【阿里云大模型高级工程师ACP习题集】2.5 优化RAG应用提升问答准确度(⭐️⭐️⭐️ 重点章节!!!)

【摘要】这是我精心整理出对应的习题集,里面足足有 30 道题目,从基础概念到深度拓展,全方位覆盖章节重点、难点。不管你是想检验自己的学习成果,还是想针对薄弱环节进行强化训练,它都能完美适配!

davidkorhenn的博客 1107

【pandas02】pandas基础

pandas基础 pandas 版本需在’1.1.5’以上 文件的读取和写入 基本数据结构 常用基本函数 在 clip 中,超过边界的只能截断为边界值,如果要把超出边界的替换为自定义的值,应当如何做? 可以用where吧 窗口对象 练习 ...

apple_50678962的博客 343

设计师必看!用Figma MCP自动生成开发文档的隐藏技巧

本文为设计师揭秘利用Figma MCP协议自动生成开发文档的隐藏技巧。通过将设计稿转化为结构化数据,实现设计规范的自动化输出、版本同步与动态更新,并借助AI助手提升协作效率,彻底告别繁琐的手动标注与沟通。

berry的博客 925

set_data_check专题[使用,report_timing,setup/hold检查]

set_data_check用于约束『数据-对-数据』的『建立保持』时间检查,通常被称为非时序约束 ( non-sequential constraints ), 理论上set_data_check 可以设在任意的两个data pin 上,其中一个pin 称为 constrained pin 类似于寄存器的data pin, 另一个pin 称为related pin 类似于寄存器的clock pin.

cy413026的博客 1万+

【Pandas】基础操作

pandas入门操作

C_Ryson的博客 907

深入解析sysmocom eUICC:eSIM技术开发与测试实践指南

本文深入解析了sysmocom eUICC开发板在eSIM技术开发与测试中的应用实践。文章详细介绍了如何根据GSMA证书类型选择合适型号,并指导开发者使用命令行工具lpac和图形界面进行eSIM配置文件管理,最终通过搭建私有SM-DP+服务器完成从生成到下载的全流程测试,为物联网和移动设备开发提供实用指南。

weixin_28358083的博客 406

【Pandas】Pandas output

在pandas库中,to_excel方法用于将DataFrame对象导出到Excel文件中。这是一个非常有用的功能,特别是当你需要将数据分析的结果以表格形式保存或分享时。

weixin_39648905的博客 1957

【CAN总线测试】——通讯相关诊断测试

本章主要介绍通讯相关诊断测试用例设计

LOVE135149的博客 1819

DBC中如何实现报文传输类型属性的配置

AUTOSAR中CAN报文的传输类型主要有三种,周期型,事件型和混合型。周期型:按固定时间间隔自动发送,无需额外的触发条件。事件型:当信号值变化或满足内部条件时立即发送。混合型:默认按周期发送,但事件触发时可提前发送。

sunchengl的博客 307

pandas基础入门

Pandas是用于数据分析的开源Python库,可以实现数据加载,清洗,转换,统计处理,可视化等功能DataFrame和Series是Pandas最基本的两种数据结构DataFrame用来处理结构化数据(SQL数据表,Excel表格)Series用来处理单列数据,也可以把DataFrame看作由Series对象组成的字典或集合。

aliedudu的博客 789

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Pandas教程之Pandas 简介

Pandas 生成的数据通常用作Matplotlib中的绘图函数、 SciPy中的统计分析和Scikit-learn中的机器学习算法的输入。当你将这些技能应用到你的项目中时,你会发现 Pandas 如何增强你探索、清理和分析数据的能力,使其成为数据科学家工具包中不可或缺的工具。Pandas Series是一个一维标记数组,能够保存任何类型的数据(整数、字符串、浮点数、Python 对象等)。此处,pd 是 Pandas 的别名。Python 的 Pandas 库是分析、清理和操作数据的最佳工具。

潜洋的专栏 2215

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

pandas库——基础

Pandas 是一个开源的第三方 Python 库,从 Numpy 和 Matplotlib 的基础上构建而来Pandas 名字衍生自术语 "panel data"(面板数据)和 "Python data analysis"(Python 数据分析)Pandas 已经成为 Python 数据分析的必备高级工具,它的目标是成为强大、灵活、可以支持任何编程语言的数据分析工具Pandas 是 Python 语言的一个扩展程序库,用于数据分析。

Lonelinessser的博客 2310

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

pandas列相加_Pandas 基础

Git 上Pandas学习教程,共有十章、4个板块:Pandas基础、四类操作、四类数据、例子。原文内容系统的讲解了Pandas库的使用方法,编排逻辑易懂,覆盖面广且含有相应练习,之前已经学习过pandas,但是感觉应用时有些费力,计划重新按照学习教程再梳理一遍,争取10天完成学习,ENJOY TIME.https://github.com/datawhalechina/joyful-pandas...

weixin_42554162的博客 5038

Pandas基础知识

本篇内容为笔者学习pandas库时在网上搜集、整理的信息,主要目的在于帮助和我一样的初学者更为方便地找到详细且通俗易懂的pandas资料。所有内容均来源于网络,如有错误之处欢迎评论、留言讨论,笔者会及时修改错误。如有侵权烦请联系笔者删除,谢谢!

weixin_44002014的博客 4006

Pandas学习——Pandas基础

文件的读取和写入 文件读取 df_csv = pd.read_csv('G:\代码\joyful-pandas-master\data\my_csv.csv') # 可以写相对路径也可以写绝对路径 df_csv col1 col2 col3 col4 col5 0 2 a 1.4 apple 2020/1/1

sosososoon的博客 2558

Pandas基础点总结

pandas是用于数据分析的开源python库,可以实现数据加载,清洗,转换,统计处理,可视化等功能。而DataFrame和Series是pandas最基本的两种数据结构。DataFrame用来处理结构化数据,Series用来处理单列数据,也可以把DataFrame看作Series对象组成的字典或集合。

qq_55461119的博客 2091

Python基础-pandas

它返回一个布尔类型的 DataFrame 或 Series,其中对应位置的元素为 True 表示缺失值,为 False 表示非缺失值。DataFrame 是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。它可以用指定的值或方法来替换缺失值,并返回一个新的 DataFrame 或 Series。函数用于删除 DataFrame 或 Series 对象中的缺失值,并返回一个新的 DataFrame 或 Series。它可以应用于数值列、时间序列或数据框中的列。

2301_80362724的博客 1192

【Pandas】pandas pivot

`pandas.pivot` 是 Pandas 库中用于数据重塑的一个非常有用的方法。它允许你将数据从长格式(long format)转换为宽格式(wide format),基于指定的索引列、列标头和数据值将表格“旋转”或重排,生成一个新的 DataFrame。

weixin_39648905的博客 1364
下一篇: Linear_regression
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值