【Mark一下】46个常用 Pandas 方法速查表

数据挖掘与数据仓库——数据仓库、 OLAP及数据立方体计算 数据仓库、 OLAP及数据立方体计算 什么是数据仓库 有多种但并不严格的定义 与操作数据库相隔离并单独维护的一个用来支持决策过程的数据库。 一个用来对整理过的历史数据进行分析以便支持信息处理的固定平台。 “数据仓库是面向主题的、集成的、时变的、非易失的数据集合,它用来支持管理部门的决策过程”—W. H. Inmon 数据仓库的特征 面向主题的:围绕主题组织, 如消费者(customer)、... 阅读详情

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料、代码以及群交流解答点击即可加入


导读:Pandas是日常数据分析师使用最多的分析和处理库之一,其中提供了大量方便实用的数据结构和方法。但在使用初期,很多人会不知道:

1.它能提供哪些功能?
2.我的需求应该用哪个方法?
3.具体某个方法怎么调用?

本篇文章总结了常用的46个Pandas数据工作方法,包括创建数据对象、查看数据信息、数据切片和切块、数据筛选和过滤、数据预处理操作、数据合并和匹配、数据分类汇总以及map、apply和agg高级函数的使用方法。

你可以粗略浏览本文,了解Pandas的常用功能;也可以保存下来,作为以后数据处理工作时的速查手册,没准哪天就会用上呢~

1.创建数据对象

Pandas最常用的数据对象是数据框(DataFrame)和Series。数据框与R中的DataFrame格式类似,都是一个二维数组。Series则是一个一维数组,类似于列表。数据框是Pandas中最常用的数据组织方式和对象。有关更多数据文件的读取将在第三章介绍,本节介绍从对象和文件创建数据框的方式,具体如表1所示:

 

表1 Pandas创建数据对象

表1 Pandas创建数据对象

2.查看数据信息

查看信息常用方法包括对总体概况、描述性统计信息、数据类型和数据样本的查看,具体如表2所示:

 

表2 Pandas常用查看数据信息方法汇总

表2 Pandas常用查看数据信息方法汇总

 

注意在上述查看方法中,除了info方法外,其他方法返回的对象都可以直接赋值给变量,然后基于变量对象做二次处理。例如可以从dtype的返回值中仅获取类型为bool的列。

3.数据切片和切块

数据切片和切块是使用不同的列或索引切分数据,实现从数据中获取特定子集的方式。常见的数据切片和切换的方式如表3所示:

 

表3 Pandas常用数据切分方法

表3 Pandas常用数据切分方法

 

提示如果选择特定索引的数据,直接写索引值即可。例如data2.loc[2,['col1','col2']]为选择第三行且列名为'col1'和'col2'的记录。

4.数据筛选和过滤

数据筛选和过滤是基于条件的数据选择,本章2.6.3提到的比较运算符都能用于数据的筛选和选择条件,不同的条件间的逻辑不能直接用and、or来实现且、或的逻辑,而是要用&和|实现。常用方法如表4所示:

 

表4 Pandas常用数据筛选和过滤方法

表4 Pandas常用数据筛选和过滤方法

5.数据预处理操作

Pandas的数据预处理基于整个数据框或Series实现,整个预处理工作包含众多项目,本节列出通过Pandas实现的场景功能。本节功能具体如表5所示:

 

表5 Pandas常用预处理方法

表5 Pandas常用预处理方法

6.数据合并和匹配

数据合并和匹配是将多个数据框做合并或匹配操作。具体实现如表6所示:

 

表6 Pandas常用数据合并和匹配方法

表6 Pandas常用数据合并和匹配方法

7.数据分类汇总

数据分类汇与Excel中的概念和功能类似。具体实现如表7所示:

 

表7 Pandas常用数据分类汇总方法

表7 Pandas常用数据分类汇总方法

8.高级函数使用

Pandas能直接实现数据框级别高级函数的应用,而不用写循环遍历每条记录甚至每个值后做计算,这种方式能极大提升计算效率,具体如表8所示:

 

表8 Pandas常用高级函数

表8 Pandas常用高级函数

数据立方体计算与数据泛化 总述:数据在经过预处理和装入数据仓库之后,下一步就是应用具体的算法来处理数据,找出其中有业务意义的部分。这一部分详细的介绍了数据挖掘相关算法的核心思想,常见问题算法的指导方向。 如何根据数据立方体的情况选取合适的计算方法 完全立方体计算的多路数组聚集方法是怎么进行操作的 BUC是怎么计算冰山立方体的 动态星形树结构是如何用来计算冰山立方体的 快速预计算高维OLAP壳片段的处理 数... 阅读详情

相关推荐

数据挖掘:数据立方体的多路数组聚集

数据立方体的多路数组聚集 最近上课老师讲到数据立方体,讲到了数据立方体的预处理。为什么要预处理?因为如果不预处理的话,每次需要相关信息都需要从头计算,需要消耗大量的时间,因此为了便于选取数据,需要对数据立方体进行预处理。预处理一般分为两种: 部分处理(冰山立方体,外壳立方体等等) 完全处理,下文就要讨论一种完全处理的方式:多路数组聚集。 用最简单暴力的方法来进行完全处理的话,在应对很大的数据集...

qq_40927437的博客 2680

面向Tableau开发人员的Python简要介绍(第4部分)

用PYTHON探索数据 (EXPLORING DATA WITH PYTHON) Between data blends, joins, and wrestling with the resulting levels of detail in Tableau, managing relationships between data can be tricky. 在数据混合,联接以及在Tablea...

weixin_26746401的博客 499

K-近邻算法: k-nearest neighbor classification (kNN) 详细介绍

@创建于:2020.04.09 @修改于:2020.04.09,2024.06.22 文章目录1、kNN介绍2、k近邻法的三要素详解2.1 距离度量2.2 k值的选择2.3 分类决策规则3、k近邻法的实现:kd树4、Python实现过程5、优缺点6、常见问题 1、kNN介绍 kNN是一个基本而简单的分类算法,作为监督学习,那么KNN模型需要的是有标签的训练数据,对于新样本的类别由与新样本距离最近的k个训练样本点按照分类...

chenhepg的博客 9万+

数据要素医疗健康行业三年行动计划规划建设方案:围绕发挥数据要素乘数作用,数据融入生产、分配、流通、消费和社会服务管理等各环节,通过与不同要素结合,作用于不同主体,发挥协·同、复用和融合作用。

我们的目标是建立一个完善的医疗健康数据要素市场体系,通过这个体系,让数据要素在医疗健康行业得到广泛的应用和深度的融合,进一步提升我们的医疗健康服务质量和效率。在数据应用方面,我们积极探索创新,推出了一系列基于大数据的疾病预测、精准医疗等应用,这些应用不仅提高了医疗服务的效率和质量,还为广大患者带来了实实在在的好处,取得了显著的社会效益和经济效益。比如,通过分析大量的医疗数据,医生可以更准确地诊断疾病,制定出更精准的治疗方案,从而提升医疗效果,吸引更多的患者前来就诊,增加医疗机构的收入。

weixin_44094929的博客 1140

threejs开发可视化数字城市效果

theme: condensed-night-purple 灵感图 现在随着城市的发展,越来越多的智慧摄像头,都被互联网公司布到城市的各个角落,举一个例子,一个大楼上上下下都被布置了智能摄像头,用于监控火势,人员进出,工装工牌佩戴等监控,这时候为了美化项目,大公司都会将城市的区域作为对象,进行3d可视化交互,接下来的内容,就是基于以上元素,开发的一款城市数据可视化的demo,包含楼宇特...

weixin_41770018的博客 1580

Nacos漏洞利用工具V3.0.5实战:从认证绕开到内存马植入的全流程指南

本文详细解析了Nacos漏洞利用工具V3.0.5在实战中的应用,从认证绕开到内存马植入的全流程。文章深入探讨了如何利用Nacos的历史漏洞,如默认口令、认证逻辑绕过、Derby SQL注入及Jraft反序列化,实现权限提升与持久化控制,并提供了防御视角与加固建议,旨在帮助安全人员理解攻击链以加强防护。

h6j7k8l9p0的博客 483

apply筛选 pandas_【Mark一下】46个常用 Pandas 方法速查表

导读:Pandas是日常数据分析师使用最多的分析和处理库之一,其中提供了大量方便实用的数据结构和方法。但在使用初期,很多人会不知道:1.它能提供哪些功能?2.我的需求应该用哪个方法?3.具体某个方法怎么调用?本篇文章总结了常用的46个Pandas数据工作方法,包括创建数据对象、查看数据信息、数据切片和切块、数据筛选和过滤、数据预处理操作、数据合并和匹配、数据分类汇总以及map、apply...

weixin_34452086的博客 125

LSF调度实战:如何用bsub命令实现多队列资源抢占与公平调度

本文深入探讨了LSF作业调度系统的高级实战技巧,重点解析如何通过配置`lsb.queues`文件与灵活运用`bsub -R`命令,构建一套兼顾效率与公平的多队列资源抢占与调度体系。文章详细介绍了队列优先级设计、公平共享机制、资源感知调度以及抢占策略的实施,帮助集群管理员解决高优先级任务等待、资源分配不均等常见问题,实现计算资源的精细化管理和高效利用。

vvv99的博客 218

pandas筛选包含特定字符的行_【Mark一下】46个常用 Pandas 方法速查表

导读:Pandas是日常数据分析师使用最多的分析和处理库之一,其中提供了大量方便实用的数据结构和方法。但在使用初期,很多人会不知道:1.它能提供哪些功能?2.我的需求应该用哪个方法?3.具体某个方法怎么调用?本篇文章总结了常用的46个Pandas数据工作方法,包括创建数据对象、查看数据信息、数据切片和切块、数据筛选和过滤、数据预处理操作、数据合并和匹配、数据分类汇总以及map、apply...

weixin_40000457的博客 2005

VINS-Fusion实战:从零搭建无人机视觉SLAM系统(附ROS配置全流程)

本文详细介绍了如何从零开始为无人机搭建基于VINS-Fusion的视觉SLAM系统。内容涵盖硬件选型(重点推荐双目相机与IMU搭配)、ROS环境配置、传感器标定、核心参数调优以及实际飞行测试与问题排解全流程,旨在帮助开发者实现稳定、精确的无人机自主定位与导航。

wasm7browser的博客 214

用友YonSuite产品实操手把手教学(图文版)

用友YonSuite

ct341688的博客 8168

Pandas 速查表 (2023版)

数据读写 数据创建 数据查看 数据操作 数据提取 数据筛选 数据统计 操作数据表结构 数据表合并 数据读写 代码 作用 df = pd.DataFrame(pd.read_csv(‘input.csv’,header=1)) 读取csv df = pd.DataFrame(pd.read_excel(‘input.xlsx’)) 读取xlsx ...

Baimoc 4442

【RBF预测】基于粒子群算法优化RBF神经网络实现数据回归预测含Matlab源码

1 简介 原油含水率预测对于确定油井水,油层位以及估计原油产量有着非常重要意义.BP神经网络是最近常用的原油含水率预测方法,然而,由于BP神经网络存在容易陷入局部极小值,收敛速度慢等问题,影响了其预测的实用性和准确性,对此,提出基于粒子群优化RBF神经网络(PSO-RBFNN)的原油含水率预测方法,粒子群优化算法用于RBF神经网络参数优化.在分析原油含水率预测的影响因素基础上,建立粒子群优化RBF神经网络的原油含水率预测模型.实验结果表明,在原油含水率预测中,基于粒子群优化RBF神经网络比BP神经网络有着

qq_59747472的博客 1234

抓取网页中的数据

using System;using System.Collections.Generic;using System.Text;using System.Data;using System.Data.SqlClient;using System.Collections;using System.Text.RegularExpressions;

Shuttle的技术博客 1967

DSPy 入门: 再见提示,你好编程

DSPy("Declarative Self-improving Language Programs (in Python)",发音为 "dee-es-pie")[1] 是斯坦福大学 NLP 研究人员开发的 "基础模型编程 "框架。它强调编程而非提示,并将构建基于 LM 的管道从操作提示转向编程。因此,它旨在解决构建基于 LM 应用程序时的脆弱性问题。DSPy 还将程序的信息流与每一步的参数(提示和 LM 权重)分离开来,为构建基于 LM 的应用程序提供了更系统的方法。

具身机器人和通用AI 3486

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

access收集数据html,[Office 2010] 把网页数据 (Html) 通通导入 Access

8种机械键盘轴体对比本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选?[Office 2010] 把网页数据 (Html) 通通导入 Access你是否曾经想把某网页上的数据保存起来?而保存的方式又是希望为“数据库”的方式保存?当然,把数据存在 Database (DB) 中有很多好处,例如:可供日后查询、异动等。所以今天将教你如何把 HTML 上的规则性数据存入 Access 中啰~~&...

weixin_30684945的博客 1204

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

首次公开,用了三年的 pandas 速查表

导读:Pandas 是一个强大的分析结构化数据的工具集,它的使用基础是 Numpy(提供高性能的矩阵运算),用于数据挖掘和数据分析,同时也提供数据清洗功能。本文收集了 Python 数据分析库 Pandas 及相关工具的日常使用方法,备查,持续更新中。作者:李庆辉来源:大数据DT(ID:hzdashuju)缩写说明:df:任意的 Pandas DataFrame 对象s:任意的 Pandas Series 对象注:有些属性方法 df 和 s 都可以使用推荐资源:pandas 在线教程https://www.

Python学习与数据挖掘 1862

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

三、数据挖掘的类型

1.挖掘的数据类型 数据挖掘能被应用于任何对目标应用有意义的数据类型最基本的形式有: 数据库数据 数据仓库数据 事务处理数据库数据 其他类型的数据 1.1 数据库数据 数据库系统,也称数据库管理系统(DBMS),由一组内部相关的数据(称做数据库)和一组存取数据的软件程序组成。 软件程序提供如下的机制:定义数据结构和数据存储,确保存储的信息的一致性和安全性。 1.2 数据仓库数据 数据仓...

GUANGZHAN的专栏 5551

数据挖掘、OLAP、数据仓库和数据立方体的概念和关系

1.数据挖掘和数据挖掘系统 首先是数据挖掘,数据挖掘的定义如下:“数据挖掘是从大量数据中挖掘有趣模式和知识的过程”,作为知识发现过程,数据挖掘通常包括数据清理、数据集成、数据选择、数据变换、模式发现、模式评估和知识表示。然后是数据挖掘系统,定义如下:数据挖掘系统(data mining system)是指从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘出有趣知识的系统,数据挖掘系统主要在体系结构上进行研究,目前数据挖掘系统分为了集中式的数据挖掘系统和分布式的数据挖掘系统。 我查阅了相关文献,并没有

bull521的博客 1160

初步认识--物联网数据分析与挖掘

数据预处理与知识发现 为什么要进行数据预处理? 因为在现实生活中存在着大量的“脏”数据 数据不完整的性 数据有噪音数据 数据不一致性 技术主要四种:数据清理,数据集成,数据变换,数据归约 数据清洗: 主要删去数据中的重复数据,消除数据中的噪音数据,纠正不完整和不一致的数据 噪声数据是指数据中存在着错误或异常(偏离期望值)的数据; 不完整数据是指数据中缺乏某些属性值: 不一致数据则是指数据内涵出...

weixin_44955712的博客 3773

直接获取access、SQL Server等数据库数据

作者:MIX当使用SQL注入access的时候,经常会遇到密码为中文、猜不到关键字段名这样的问题。使用本技术就能够很快速的解决这样的问题。本技术最低要求有两条:1.使用access数据库的系统存在SQL注入漏洞;mssql数据库也支持这个技术2.需要知道欲爆数据所在的表的表名以及这个表下的一个字段名,一般都是id字段     使用本技术显而易见的优势在于:1.可以不需要引号,过滤引号对本技术没

FreeXploiT 1453

2.3.4 hadoop体系之离线计算-Hive数据仓库-Hive数据库操作

目录 1.创建数据库 2.创建数据库并指定位置 3.修改数据库 4.查看数据库详细信息 5.删除数据库 1.创建数据库 create database if not exists myhive; use myhive; 说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</.

敲代码的乔帮主 605

数据挖掘冰山立方体的构建:BUC算法的实现

1.首先处理输入数据文件中数据的读入,数据存放在BUC.csv文件中, 每一行为一组维度组合序列,表示该序列出现一次。读取该文件,将数据保存在列表record中,保存形式如下: record = [[‘a1’,‘b1’,‘c1’],[‘a2’,‘b1’,‘c2’]...] 返回record记录的同时返回不同维度的类别,如[‘a’,‘b’,‘c’] 本部分代码如下: #读取文件,并将数据存储到re...

qq_38053195的博客 1514

数据仓库建设--OLAP和数据立方体概念

一、OALP概述    数据立方体,他是一种用于OLAP以及OLAP操作(如上卷、下钻、切片和切块)的多维数据模型。数据立方体存储多为聚集信息。每个单元存放一个聚集值,对应于多维空间的一个数据点。每个属性都可能存在概念分层,允许在多个抽象层进行数据分析。     在最低抽象层创建的立方体称为基本方体。基本方体应当对应于感兴趣的个体实体,如sales或customer。换言之,最低层应当是对于分析...

crazzy_lp的博客 2969

pandas方法大全

数据帧构造函数转换索引,迭代二元运算功能函数应用程序,GroupBy和窗口计算/描述统计重新索引/选择/标签操作丢失的数据处理重塑,排序,转置结合/加盟/合并与时间序列有关的稀疏访问器 构造函数 DataFrame([数据,索引,列,dtype,副本]) 具有标注轴(行和列)的二维大小可变的,可能是异构的表格数据结构。 属性和底层数据 轴数 DataFrame.index DataFrame的索引...

rankiy的博客 1154

利用python获取网页信息以及插入Access数据库

最近在利用爬虫获取智联招聘的职位信息,尝试使用C#,发现很难进行。逛遍论坛就几个老例子,十分被动。于是就使用python代替进行数据获取。Python操作Access数据库是在实践过程中遇到的最大的难题。国内论坛上要么不详细要么就太老了,都没连上。故在此分享我的经验,给像我一样的小白菜提供思路。          本文主要内容有: 1、  Python获取网页代码 2、  Python使用x

Gui052的博客 6665
上一篇: 用 Python 的 Template 类生成文件报告
下一篇: 怎样用Python制作好玩的GIF动图?
酸菜鱼编程
博客等级 码龄6年 155粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值