简单好用,分享 4 款 Pandas 自动数据分析神器

【DTale】数据分析强大工具DTale的使用 简单介绍:使用dtale:启动、数据加载功能介绍:主菜单选项:0. 切换语言1. 创建列2. 汇总数据3. 缺失率分析4. 绘图5. 高亮功能6. 代码导出、数据导出列菜单功能:1. 冻结2.隐藏和删除3. 替换和类型转换4. 描述性统计5. 过滤6. 方差报告7. 文本清洗 简单介绍: dtale官方api:https://pypi.org/project/dtale/ dtale是pandas的GUI工具,提供数据的所有详细信息,是一个强大的数据可视化数据分析工具。 使用dtale: 启动、数据. 阅读详情

我们做数据分析,在第一次拿到数据集的时候,一般会用统计学或可视化方法来了解原始数据。

了解列数、行数、取值分布、缺失值、列之间的相关关系等等,这个过程叫做 EDA(Exploratory Data Analysis,探索性数据分析)。

如果你现在做EDA还在用pandas一行行写代码,那么福音来了!

目前已经有很多EDA工具可以自动产出基础的统计数据和图表,能为我们节省大量时间。

本文会对比介绍 4 款常用的EDA工具,最后一款绝了,完全是抛弃代码的节奏。

正式介绍这些工具之前,先来加载数据集

import numpy as np
import pandas as pd
iris = pd.read_csv('iris.csv')
iris

图片

iris是下面用到的数据集,是一个150行 * 4列的 DataFrame。

1. PandasGUI

PandasGUI提供数据预览、筛选、统计、多种图表展示以及数据转换。

# 安装
# pip install pandasgui
from pandasgui import show

show(iris)

图片

PandasGUI操作界面

PandasGUI更侧重数据展示,提供了10多种图表,通过可视的方式配置。

但数据统计做的比较简单,没有提供缺失值、相关系数等指标,数据转换部分也只开放了一小部分接口。

2. Pandas Profiling

Pandas Profiling 提供了整体数据概况、每列的详情、列之间的关图、列之间的相关系数。

# 安装:
# pip install -U pandas-profiling
# jupyter nbextension enable --py widgetsnbextension

from pandas_profiling import ProfileReport

profile = ProfileReport(iris, title='iris Pandas Profiling Report', explorative=True)
profile

图片

Pandas Profiling操作界面

每列的详情包括:缺失值统计、去重计数、最值、平均值等统计指标和取值分布的柱状图。

列之间的相关系数支持Spearman、Pearson、Kendall 和 Phik 4 种相关系数算法。

与 PandasGUI 相反,Pandas Profiling没有丰富的图表,但提供了非常多的统计指标以及相关系数。

3. Sweetviz

Sweetviz与Pandas Profiling类似,提供了每列详细的统计指标、取值分布、缺失值统计以及列之间的相关系数。

# 安装
# pip install sweetviz

import sweetviz as sv

sv_report = sv.analyze(iris)
sv_report.show_html()

图片

Sweetviz操作界面

Sweetviz还有有一个非常好的特性是支持不同数据集的对比,如:训练数据集和测试数据集的对比。

图片

Sweetviz数据集对比

蓝色和橙色代表不同的数据集,通过对比可以清晰发现数据集之前的差异。

4. dtale

最后重磅介绍dtale,它不仅提供丰富图表展示数据,还提供了很多交互式的接口,对数据进行操作、转换。

图片

dtale操作界面

dtale的功能主要分为三部分:数据操作、数据可视化、高亮显示。

4.1 数据操作(Actions)

dtale将pandas的函数包装成可视化接口,可以让我们通过图形界面方式来操作数据。

# pip install dtale

import dtale

d = dtale.show(iris)
d.open_browser()

图片

Actions

右半部分图是左边图的中文翻译,用的是 Chrome 自动翻译,有些不是很准确。

举一个数据操作的例子。

图片

Summarize Data

上图是Actions菜单中Summarize Data的功能,它提供了对数据集汇总操作的接口。

上图我们选择按照species列分组,计算sepal_width列的平均值,同时可以看到左下角dtale已经自动为该操作生成了pandas代码。

4.2 数据可视化(Visualize)

提供比较丰富的图表,对每列数据概况、重复行、缺失值、相关系数进行统计和展示。

图片

Visualize

举一个数据可视化的例子。

图片

Describe

上图是Visualize菜单中Describe的功能,它可以统计每列的最值、均值、标准差等指标,并提供图表展示。

右侧的Code Export可以查看生成这些数据的代码。

4.3 高亮显示(Highlight)

对缺失值、异常值做高亮显示,方便我们快速定位到异常的数据。

图片

Highlight

图片

上图显示了将sepal_width字段的异常值。

dtale非常强大,功能也非常多,大家可以多多探索、挖掘。

最后,简单总结一下。如果探索的数据集侧重数据展示,可以选PandasGUI;如果只是简单了解基本统计指标,可以选择Pandas Profiling和Sweetviz;如果需要做深度的数据探索,那就选择dtale。

为大家准备了一份Python数据分析的学习大礼包

 需要数据分析资料,戳此领取icon-default.png?t=LA92http://【腾讯文档】传送门 https://docs.qq.com/doc/DQVFtT09ZdkJJdFF4

3个方便好用的Python自动化脚本 相比大家都听过自动化生产线、自动化办公等词汇,在没有人工干预的情况下,机器可以自己完成各项任务,这大大提升了工作效率。 编程世界里有各种各样的自动化脚本,来完成不同的任务。 尤其Python非常适合编写自动化脚本,因为它语法简洁易懂,而且有丰富的第三方工具库。 这次我们使用Python来实现几个自动化场景,或许可以用到你的工作中。 1、自动化阅读网页新闻 这个脚本能够实现从网页中抓取文本,然后自动化语音朗读,当你想听新闻的时候,这是个不错的选择。 代码分为两大部分,第一通过爬虫抓取网页文本呢,第 阅读详情

相关推荐

Python特征工程

一、目的 将数据转换为能更好地表示潜在问题的特征,从而提高机器学习的性能 二、内容 缺失:加入先验知识 异常:清除噪声 集中:数据集中(归一化、标准化)、变量集中(特征筛选、降维) 有价值:数据有价值(数据分桶)、变量有价值(特征构造) ...

weixin_45366750的博客 2992

D-Tale:一款功能异常强大的探索性数据分析工具

大家好,今天给大家分享一款十分强大的数据集探索性分析插件D-Tale。 可以通过它,我们可快速分析和了解数据的基本情况,进一步进行数据分析和可视化,喜欢记得收藏、点赞、关注。 注:完整数据文末获取。 安装好该模块 pip install dtale 用D-Tale插件打开数据集 我们在D-Tale中打开数据集,代码如下 import dtale import pandas as pd df = pd.read_csv(r'gapminder_full.csv') d = dtale.show(df) d

Python数据挖掘 4009

这4款数据自动化探索 Python 神器,解决99%的数据分析问题!

探索性数据分析是一种非常重要的数据探索技术,用于了解数据的各个方面,这是执行任何机器学习或深度学习任务之前最重要的步骤之一。探索性数据分析可以帮助识别明显的错误,区分数据集中的异常,发现重要元素,发现内部信息的设计并提供新的知识。...

m0_72091242的博客 334

如此优雅,4款 Python 自动数据分析神器真香啊

我们做数据分析,在第一次拿到数据集的时候,一般会用统计学或可视化方法来了解原始数据。了解列数、行数、取值分布、缺失值、列之间的相关关系等等,这个过程叫做 EDA(Exploratory Data Analysis,探索性数据分析)。如果你现在做EDA还在用pandas一行行写代码,那么福音来了!目前已经有很多EDA工具可以自动产出基础的统计数据和图表,能为我们节省大量时间。本文会对比介绍 4 款常用的EDA工具,最后一款绝了,完全是抛弃代码的节奏。正式介绍这些工具之前,先来加载数据集import&

Python学习与数据挖掘 9356

STM32CubeMX定时器配置

因为只有当 CH2 处于 输入模式 时,硬件才能把这根脚送进滤波器(TI2FP2通道之前要滤波),再生成 TI2FP2 这条支路供 Slave-Mode 控制器使用,也就是说TI2FP2 并不是“独立存在”的,但在CubeMX配置时:如下图,我们只设置Slave Mode和TI1FP1,之后,CH1就自动配置为 Input Capture 了,下图发现,Channel1只能 Input Capture 或者Disable。哪来的主定时器和从定时器呢?把待测 PWM 的高电平当“门”,连接到ETR。

2402_89015641的博客 3188

使用RepeatModeler和RepeatMasker注释基因组重复序列

重复序列注释有两种常用策略,基于同源序列相似性和基于重复序列结构特征。RepeatMasker是基于同源序列相似性注释序列的常用工具, RepeatModeler可用来从头对基因组的重复序列家族进行建模注释,它的核心组件是RECON和RepatScout。 这篇教程介绍如何使用RepeatModeler从头鉴定基因组的重复序列,之后用RepeatMasker根据自...

xuzhougeng blog 8855

简单好用,分享4款Pandas自动数据分析神器

我们做数据分析,在第一次拿到数据集的时候,一般会用统计学或可视化方法来了解原始数据。了解列数、行数、取值分布、缺失值、列之间的相关关系等等,这个过程叫做 (Exploratory Data Analysis,探索性数据分析)。如果你现在做还在用一行行写代码,那么福音来了!目前已经有很多工具可以自动产出基础的统计数据和图表,能为我们节省大量时间。本文会对比介绍 4 款常用的工具,最后一款绝了,完全是抛弃代码的节奏。正式介绍这些工具之前,先来加载数据集 是下面用到的数据集,是一个的 DataFrame。提供

sixqingfeng的博客 1061

HFSS本征模求解:谐振特性分析与工程实践

本征模求解是电磁仿真中的基础技术,用于分析无源谐振系统的固有特性。其核心原理是通过求解麦克斯韦方程组的特征值问题,获得谐振频率、品质因数(Q值)及电磁场分布等关键参数。在5G滤波器设计、雷达谐振腔优化等高频场景中,精确的本征模分析能有效避免模式干扰,提升器件性能。HFSS作为行业标准工具,提供了完整的本征模求解工作流,涵盖边界条件设置、模式识别、场分布可视化等关键环节。针对多模耦合、模式纯度评估等工程难题,结合参数化扫描和场重叠积分等高级技巧,可显著提升微波器件设计效率。

weixin_27918373的博客 341

简单好用,分享 4 款 Pandas 自动数据分析神器!

本文介绍了在python中使用tabulate库来创建表格,并针对输出形式进行不断改进来美化输出效果,并给出了代码示例。

weixin_56659172的博客 1016

6、Dialogflow 开发全解析:从基础到高级应用

本文全面解析了 Dialogflow 的核心功能与高级应用,涵盖意图与实体的创建、上下文管理、后续意图设置以及高级实体类型的实际应用场景。详细介绍了自定义实体的导入导出规则、编程添加方法及数量限制,并通过流程图和实例说明了上下文生命周期与对话连贯性设计。结合电商、旅游、问卷调查等实际业务场景,展示了模糊匹配、自动扩展、复合实体等功能的强大灵活性。最后提供了开发最佳实践建议,帮助开发者构建高效、智能的对话系统。

kafka6courier的博客 104

扩散模型与强化学习(13):In-Context Reward Hacking现象与解决方案

奖励作弊(Reward Hacking)指智能体通过钻规则漏洞而非真正完成任务来最大化奖励信号。以论文编辑实验为例,研究提出“上下文奖励作弊”(ICRH)概念,即模型利用共享上下文钻空子,如盲目添加“正确!”或输出无关内容。实验发现,模型规模扩大可能加剧ICRH,且提示词优化难以根治。与传统奖励作弊不同,ICRH发生在部署阶段,由通用性驱动。应对建议包括多轮测试、多样化反馈及异常场景模拟,但尚无完美解决方案。

沉迷单车的追风少年 1320

简单好用,分享4款Pandas自动数据分析神器!

大家好,我是辰哥~我们做数据分析,在第一次拿到数据集的时候,一般会用统计学或可视化方法来了解原始数据。了解列数、行数、取值分布、缺失值、列之间的相关关系等等,这个过程叫做EDA(Exploratory Data Analysis,探索性数据分析)。如果你现在做EDA还在用pandas一行行写代码,那么福音来了!目前已经有很多EDA工具可以自动产出基础的统计数据和图表,能...

公众号:Python研究者 471

【WRF数据准备】土地利用数据-MODIS MCD12Q1数据下载及制备

【WRF数据准备】MODIS静态地理数据下载及制备

WW、forever的博客 3413

简单实用,聊聊我常用的 4 款 Pandas 自动数据分析神器

我们做数据分析,在第一次拿到数据集的时候,一般会用统计学或可视化方法来了解原始数据。了解列数、行数、取值分布、缺失值、列之间的相关关系等等,这个过程叫做 EDA(Exploratory Data Analysis,探索性数据分析)。如果你现在做EDA还在用pandas一行行写代码,那么福音来了!目前已经有很多EDA工具可以自动产出基础的统计数据和图表,能为我们节省大量时间。本文会对比介绍 4 款常用的EDA工具,最后一款绝了,完全是抛弃代码的节奏。正式介绍这些工具之前,先来加载数据集import&

Python学习与数据挖掘 960

Apollo Control——超详细入门教程(六):MPC二次规划问题转化

专栏文章列表 Apollo Control——超详细入门教程(一):基于道路误差的车辆动力学模型 Apollo Control——超详细入门教程(二):连续状态空间方程离散化与离散LQR公式推导 Apollo Control——超详细入门教程(三):基于Frenet坐标系及XY坐标系的多项式轨迹生成 Apollo Control——超详细入门教程(四):控制模块轨迹误差计算 Apollo Control——超详细入门教程(五):油门刹车标定表之双线性插值算法 ...

凉了鸭的博客 2234

fanuc机器人I/O分配

FANUC机器人在和其他外部设备进行通讯时,需要对信号进行配置。 在机器人处于UOP自动分配状态时,系统会自动检索已配对设备,并分配相应的机架号。 当我们需要手动对信号进行分配时,可参考以下机架号进行配置。 不同的通讯协议对应的机架号不同,外部通讯协议常用的机架号参考下表: 序号 机架号 通讯类型 1 0 Process I/O 2 1-15

haier123888的博客 1万+

这4款数据自动化探索 Python 神器,解决绝大多数的数据分析问题

探索性数据分析是一种非常重要的数据探索技术,用于了解数据的各个方面,这是执行任何机器学习或深度学习任务之前最重要的步骤之一。 探索性数据分析可以帮助识别明显的错误,区分数据集中的异常,发现重要元素,发现内部信息的设计并提供新的知识。 背景 在任何机器学习项目的生命周期中,我们在数据分析、特征选择、特征工程等环节耗费时间占整个项目的 60% 的以上,一方面它是数据科学项目中最重要的部分,另一方面它是必须要进行的,比如清理数据、处理缺失值、处理异常值、处理不平衡的数据集、等等,高效完成数据探索任务势在必行。 自

Python学习与数据挖掘 4856

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

yyds,建议收藏!!4 个 Pandas 必备神器!

上面的这些包可以在Jupyter Notebook中将dataframe转换为交互式表。Itables 和Qgrid比较轻量,可以让我们快速的查看数据,但是如果你想进行更多的操作,例如生成一些简单的可视化图表,那么Pivottablejs和Pygwalker是一个很好的工具。由于文章篇幅有限,文档资料内容较多,需要这些文档的朋友,可以加小助手微信免费获取,【保证100%免费】,中国人不骗中国人。如果你也想自学Python,可以关注我。

2301_78095812的博客 801

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

事半功倍,必看这4个Pandas神器!

Pandas是我们日常处理表格数据最常用的包,但是对于数据分析来说,Pandas的DataFrame还不够直观,所以今天我们将介绍4个和Pandas相关的Python包,可以将Pandas的DataFrame转换交互式表格,让我们可以直接在上面进行数据分析的操作。

dsuiofh的博客 1233

用快马AI三分钟打造Pandas数据分析神器:零代码玩转大数据

朋友推荐我用Python的Pandas库试试,但作为一个非专业程序员,看到代码就头疼。输入几个简单的需求描述,喝着咖啡等AI生成完整解决方案,这种工作方式简直不要太爽!生成的基础统计模块会输出包括count/mean/std等指标的describe()结果,比Excel的数据分析更全面。特别值得一提的是部署体验,点击按钮就能把数据分析应用发布成在线服务,客户打开链接就能使用,完全不用操心服务器配置。的AI代码生成功能,终于找到了完美解决方案——不用写代码也能享受Pandas的强大数据处理能力!

NightshadeEagle34的博客 965

Pandas:让Excel用户直呼“真香“的数据分析神器!

— 结果被老板灵魂拷问:“所以下个月该备多少货?工具再强也只是工具!把数据清洗时间从80%压缩到20%让你有更多精力思考业务逻辑用代码实现可复用的分析流程(偷偷说)现在连财务小姐姐都开始学Pandas了,你还在等什么?遇到千万行数据别哭,打开Jupyter输入—— 让数据开口说话的时代来了!

niuma8888的博客 973

python神器pandas_一张图看遍数据分析神器Pandas所有语法

Python在数据分析领域之所以牛,很大程度上是因为Pandas这个库是在是太好用,广泛应用于数据处理、数据分析等领域。回想起自己刚毕业那会,要做很多处理,总是自己的读取文件、筛选过滤、关联文件、聚合统计、绘制图表等等工作都是用Python原生语法实现,效率极其低下并且容易出错,当我后来接触到Pandas简直喜爱的要哭。在Python的库中,Pandas是目前的最爱,将它的能力进行梳理:1、直接按...

weixin_39956022的博客 182

这4款数据自动化探索 Python 神器,解决百分之九十九的数据分析问题

探索性数据分析是一种非常重要的数据探索技术,用于了解数据的各个方面,这是执行任何机器学习或深度学习任务之前最重要的步骤之一。 探索性数据分析可以帮助识别明显的错误,区分数据集中的异常,发现重要元素,发现内部信息的设计并提供新的知识。 背景 在任何机器学习项目的生命周期中,我们在数据分析、特征选择、特征工程等环节耗费时间占整个项目的 60% 的以上,一方面它是数据科学项目中最重要的部分,另一方面它是必须要进行的,比如清理数据、处理缺失值、处理异常值、处理不平衡的数据集、等等,高效完成数据探索任务势在必行。

z099164的博客 682
上一篇: Python + folium 制作美美的地图~
下一篇: Python零基础学习 | python核心(一)
Python_xiaowu
博客等级 码龄5年 3096粉丝 178原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值