强烈建议你学这 3 个 Python AutoEDA 工具包

Python数据可视化库之autoviz使用详解 autoviz 库凭借自动化与智能化特性,彻底革新了 Python 数据可视化流程。它打破代码门槛,让各领域人员都能快速将数据转化为专业级可视化成果,从商业数据洞察到科学研究分析,再到教育数据评估,均能轻松胜任。同时,其强大的交互功能与模型辅助分析能力,不仅助力用户深入探索数据规律,还为决策提供可靠依据。在追求高效数据处理的当下,autoviz 库无疑是提升数据可视化效率与质量的关键利器,将持续赋能各行业数据价值挖掘 。 阅读详情

数据科学爱好者知道,在将原始数据输入机器学习模型解决实际问题之前,需要对其进行大量处理。根据问题的类型(回归或分类),需要遵循一系列步骤来准备和格式化数据。为了探索数据集,Python 是可以说是最强大的数据分析工具之一。此外,它可以更好地数据可视化。

数据科学和机器学习不仅仅是拥有强大计算机科学背景的人可以接触到的。相反,越来越多的来自不同行业的专业人士已加入这一领域。但是对于一个刚刚开始机器学习的初学者来说,也不是一件很容易的事情。

在本文中,我们将讨论三个面向初学者非常友好的自动化 EDA Python 库,在文末我会分享其他有趣的 AutoEDA 库。

首先我们加载一下数据

#loading the dataset
from sklearn import datasets
import pandas as pd
data = datasets.load_iris()
df = pd.DataFrame(data.data,columns=data.feature_names)
df['target'] = pd.Series(data.target)
df.head()

图片

如果我们不使用 AutoEDA,这里有一个通常用于 EDA 的命令列表,用于打印有关 DataFrame/数据集的不同信息

  • df.head() – 前五行

  • df.tail() – 最后五行

  • df.describe() – 有关数据集的百分位数、平均值、标准偏差等的基本统计信息

  • df.info() – 数据集摘要

  • df.shape() – 数据集中的观察值和变量的数量,即数据的维度

  • df.dtypes() – 变量的数据类型(int、float、object、datetime)

  • df.unique()/df.target.unique() – 数据集/目标列中的唯一值

  • df[‘target’].value_counts() – 分类问题的目标变量分布

  • df.isnull().sum()- 计算数据集中的空值

  • df.corr() – 相关信息

  • 等等..

AutoEDA 库可以通过几行 Python 代码快速完成所有这些以及更多工作。但在我们开始之前,让我们先检查安装的 Python 版本,因为这些库需要 Python >=3.6。

print(python --version) # check installed Python version

1. Pandas Profiling

首先,auto-EDA 库是一个用 Python 编写的开源选项。它为给定的数据集生成一个全面的交互式 HTML 报告。它能够描述数据集的不同方面,例如变量类型、处理缺失值、数据集的众数。

要安装库,请在 jupyter notebook 中输入并运行以下命令

!pip install pandas-profiling

EDA 使用 Pandas Profiling

我们将首先导入主包pandas 来读取和处理数据集。

接下来,我们将导入pandas profiling

import pandas_profiling
#Generating PandasProfiling Report
report = pandas_profiling.ProfileReport(df)

从报告中,初学者可以很容易地理解 iris 数据集中有 5 个变量——4 个数字变量,结果变量是分类变量。此外,数据集中有 150 个样本并且没有缺失值。

图片

下面由 Pandas 分析生成的一些示例图有助于理解我们之前列出的命令的相关性、唯一值和缺失值。

图片

相关性

图片

图片

总的来说,Pandas Profiling 在从数据集中可以快速生成方面令人印象深刻。

2. Sweetviz

这是一个开源 Python 库,仅使用两行代码即可执行EDA。该库为数据集生成的报告以.html 文件形式提供,可以在任何浏览器中打开。使用 Sweetviz,我们可以实现:

  • 数据集特征如何与目标值相关联

  • 可视化测试和训练数据并比较它们。我们可以使用analyze()、compare() 或compare_intra() 来评估数据并生成报告。

  • 绘制数值和分类变量的相关性

  • 总结有关缺失值、重复数据条目和频繁条目的信息以及数值分析,即解释统计值

要安装库,请在 jupyter notebook 运行以下命令

!pip install sweetviz

EDA 使用 Sweetviz

与前面的部分类似,我们将首先导入pandas 来读取和处理数据集。

接下来,我们只需导入 sweetviz 来探索数据。

import sweetviz as sv
#Generating Sweetviz report
report = sv.analyze(df)
report.show_html("iris_EDA_report.html") # specify a name for the report

这就是典型的 Sweetviz 报告的样子

图片

确实令人印象深刻和漂亮。

3. AutoViz

AutoViz 只需一行代码即可快速分析任何数据。要安装库,与以上类似。

from autoviz.AutoViz_Class import AutoViz_Class
AV = AutoViz_Class()
#Generating AutoViz Report #this is the default command when using a file for the dataset
filename = ""
sep = ","
dft = AV.AutoViz(
    filename,
    sep=",",
    depVar="",
    dfte=None,
    header=0,
    verbose=0,
    lowess=False,
    chart_format="svg",
    max_rows_analyzed=150000,
    max_cols_analyzed=30,
    )

由于我们使用的是库中的数据集,我们需要如下修改

#Generating AutoViz Report
filename = "" # empty string ("") as filename since no file is being used for the data
sep = ","
dft = AV.AutoViz(
    '',
    sep=",",
    depVar="",
    dfte=df,
    header=0,
    verbose=0,
    lowess=False,
    chart_format="svg",
    max_rows_analyzed=150000,
    max_cols_analyzed=30,
     )

图片

图片

图片

图片

图片

AutoViz 报告包括有关数据集形状的信息以及所有可能的图表,包括条形图、小提琴图、相关矩阵(热图)、配对图等。所有这些信息与一行代码肯定对任何初学者都有用。

结论

还有其他有趣的 AutoEDA 库,如 Dora、D-Tale 和 DataPrep,它们类似于本文中讨论的这三个库,如果你感兴趣,可以深入研究。

从初学者的角度来看,Pandas Profiling、Sweetviz 和 AutoViz 似乎是最简单的生成报告以及呈现数据集洞察力的工具。

Auto-EDA:一些不错的Auto EDA库 两行代码进行了深入的EDA (目标分析,比较,特征分析,关联) ! Sweetviz是一个开源Python库,仅需两行代码即可生成精美的高密度可视化文件,以启动EDA(探索性数据分析)。 输出是一个完全独立HTML应用程序。 该系统围绕快速可视化目标值和比较数据集而构建。 其目标是帮助快速分析目标特征,训练与测试数据以及其他此类数据表征任务。 用法和参数如下所述, 。 Sweetviz开发仍在进行中! 如果您遇到任何数据,兼容性或安装问题,请告诉我! 感谢您,并且欢迎您使用有关使用/功能的反馈和问题 。 范例与提及 特征 目标分析显示目标值(例如,泰坦尼克号数据集中的“幸存”)与其他要素的关系 可视化和比较 不同的数据集(例如培训与测试数据) 组内特征(例如男性与女性) 混合型关联Sweetviz无缝集成了数字(皮尔森相关性),分类(不确定性系数)和分类数字(相关性)数据类型的 立即下载

相关推荐

【Python学习日记:PySide6】【持续更新】

说明:PySide6 是 Qt for Python 的一部分,是一个 Python 绑定库,可以用来创建跨平台的 GUI 应用程序。它将 Qt 框架的丰富功能带到了 Python 环境中,允许开发者使用 Python 编写 GUI 应用程序。

XLQ的博客 8049

针对初学者,我建议你学这 3 个 Python AutoEDA 工具包

数据科学爱好者知道,在将原始数据输入机器学习模型解决实际问题之前,需要对其进行大量处理。根据问题的类型(回归或分类),需要遵循一系列步骤来准备和格式化数据。为了探索数据集,Python 是可以说是最强大的数据分析工具之一,此外,它可以更好地数据可视化。 数据科学和机器学习不仅仅是拥有强大计算机科学背景的人可以接触到的。相反,越来越多的来自不同行业的专业人士已加入这一领域。但是对于一个刚刚开始机器学习的初学者来说,也不是一件很容易的事情。 在本文中,我们将讨论三个面向初学者非常友好的自动化 EDA Pytho

Python学习与数据挖掘 1483

某10kV纺织厂供电系统设计【CAD图纸源码+Word文档】

本文详细介绍了设计变电所原始资料,负荷统计,基于负荷统计给出了变压器的选型,变电所主接线方式的设计、高低压母线、电缆的技术要求、短路电流的计算以及相关电气设备的保护参数及保护定值的计算、安全措施的规定。

weixin_761237174的博客 2744

盘点算法比赛中常见的AutoEDA工具库

在完成竞赛和数据挖掘的过程中,数据分析一直是非常耗时的一个环节,但也是必要的一个环节。能否使用一个工具代替人来完成数据分析的过程呢,现有的AutoEDA工具可以一定程度上完成上述过程。

m0_59596937的博客 255

【S32K3 MCAL配置】-3.4-CANFD配置-接收特定的“经典CAN/CANFD标准帧”和“经典CAN/CANFD扩展帧”(基于MCAL+FreeRTOS)

【S32K3 MCAL配置】-3.4-CANFD配置-接收特定的“经典CAN/CANFD标准帧”和“经典CAN/CANFD扩展帧”(基于MCAL+FreeRTOS)

「汽车电子助手」的博客 698

更改训练好的yolo模型中的class类名,无需重新训练

本文介绍了如何在不重新训练YOLO模型的情况下修改其类名的技巧。关键点在于理解YOLO类名存储逻辑:类名列表(names)存储在配置文件中(.yaml),而非权重文件(.pt)。通过修改配置文件的类名列表(保持类别数量nc不变),即可实现类名更新。具体步骤包括:1)准备修改后的配置文件;2)加载模型并更新类名;3)验证推理结果。该方法适用于YOLOv5/YOLOv8等版本,能有效节省开发时间,适用于类名表述调整、多场景复用等需求。注意:增减类别需重新训练,仅修改类名时需确保类别数量一致。

yolo模型训练找我,AI游戏合作找我 895

数据科学中的AutoEDA:自动化探索性数据分析

为了解决传统EDA的痛点,自动化探索性数据分析(Automated Exploratory Data Analysis,简称AutoEDA)应运而生。AutoEDA指的是利用计算机程序自动执行数据探索过程的技术和工具集合,它能够自动生成数据摘要、统计分析和可视化,帮助数据科学家快速理解数据特征,发现潜在问题和有价值的模式。提高效率:将数据科学家从繁琐重复的EDA工作中解放出来,让他们能够专注于更具创造性和战略性的任务。降低门槛:使非专业人士也能进行基本的数据探索和理解,促进数据素养的普及。增强一致性。

Agentic AI人工智能与大数据正在引领一场新智能科技革命。 1310

ABAP Cloud 里的高性能日志:CL_BALI_LOG、XCO_CP_BAL 与 AML 的性能对比与选型指南

ABAP日志框架性能对比与选型建议 本文对比了ABAP Cloud中三种主流日志框架的性能表现与适用场景: 标准BALI:适合明确需要保存日志的场景,保存路径短,性能较好 XCO_CP_BAL:API更现代但性能较低,适合需要即时可见性的场景 AML:开源框架,擅长消息缓冲,适合批量处理时暂存消息 测试结果表明: 纯记录不落库时AML最快 需要保存时BALI性能最优 second connection不提升性能但能确保日志留存 选型建议: 高频批处理优先AML+BALI组合 故障诊断考虑XCO的即时可见性

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 218

【Python】盘点常见的AutoEDA工具库

在完成竞赛和数据挖掘的过程中,数据分析一直是非常耗时的一个环节,但也是必要的一个环节。能否使用一个工具代替人来完成数据分析的过程呢,现有的AutoEDA工具可以一定程度上完成上述过程。本文将盘点常见的AutoEDA工具,欢迎收藏转发。Pandas Profilinghttps://pandas-profiling.github.io/pandas-profiling/docs/master/ind...

fengdu78的博客 179

猫群优化算法(CSO)详解:从生物灵感到智能优化

猫群优化算法(CSO)是一种模拟猫科动物行为的群体智能优化算法。该算法基于猫的两种主要行为模式:搜寻状态(全局探索)和跟踪状态(局部开发)。CSO通过混合率(MR)动态调整两种模式的比例,实现探索与开发的平衡。算法核心包括搜寻模式的变异操作和跟踪模式的速度-位移模型,具有收敛性能好、全局搜索能力强等特点。相比传统优化算法,CSO在高维复杂问题中表现优异,已成功应用于函数优化、图像处理等多个领域。算法性能受混合率、变化域等参数影响,自适应参数策略可进一步提升优化效果。

qq_42212808的博客 620

深入浅出块I/O子系统(四)请求处理过程

BIO请求处理的流程 函数scsi_request_fn()代码(摘自文件drivers/scsi/scsi_lib.c) (1)static void scsi_request_fn(struct request_queue *q) (2)int scsi_dispatch_cmd(struct scsi_cmnd *cmd) { host->hostt->queuecommand(host, cmd) } (3)struct sas_internal *i sas_queuec

sinat_37817094的博客 1350

【Python】强烈建议你学这 3 个 Python AutoEDA 工具包!

精选专栏机器学习必备的 14 个博客6 款机器学习模型可解释性工具包数据科学爱好者知道,在将原始数据输入机器学习模型解决实际问题之前,需要对其进行大量处理。根据问题的类型(回归或分类),需...

fengdu78的博客 827

【GameFramework框架内置模块】8、文件系统(File System)

最近好忙,鸽了好久。不能颓废了,继续发力。今天分享的是GF框架的文件系统。首先,引用比较官方的说法:GF的FileSystem虚拟文件系统,使用类似磁盘存储的感念对零散的文件进行集中管理,优化资源加载时产生的内存分配,也可以对资源进行局部片段加载,极大的提升了资源加载的性能。通俗点讲就是,我这个模块就是加载磁盘文件的,优化加载时产生的内存分配。那么,它是怎么优化的呢?

优快云博客专家,Unity3D高级软件工程师,《Unity 3D从入门到实战》作者。 2453

【NLP】fastText词向量与文本分类工具

一、简介fastText 是 Facebook 于2016年开源的一个词向量训练与文本分类工具,其典型应用场景是“无监督的词向量学习”和“有监督的文本分类”。fastText 提供简单而高...

fengdu78的博客 1630

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Qwen3.5-9B-AWQ-4bit完全指南:4bit量化如何让9B多模态大模型以9.07GB轻松落地

本文是面向新手的 Qwen3.5-9B-AWQ-4bit 完全指南:这个由 cyankiwi 发布的多模态大模型,通过 AWQ 4bit 量化把 9B 参数的 Qwen3.5-9B 压缩到仅 9.07GB,支持图像和视频输入,单张消费级显卡即可轻松落地部署。 ## 📦 一句话认识 Qwen3.5-9B-AWQ-4bit **Qwen3.5-9B-AWQ-4bit** 是 Qwen3.5-9B

gitblog_01026的博客 123

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

★EDA: SweetViz

【代码】★EDA: SweetViz。

Younger0000的博客 473

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

六个探索性数据分析(EDA)工具,太实用了!

当进行数据分析时,探索性数据分析(EDA)是一个至关重要的阶段,它能帮助我们从数据中发现模式、趋势和异常现象。而选择合适的EDA工具又能够极大地提高工作效率和分析深度。在本文中,笔者将介绍6个极其实用的探索性数据分析(EDA)工具,这些工具能够帮助您更好地理解数据、发现隐藏的信息,并为后续分析和决策提供有力支持。让我们一起来看看这些工具是如何帮助我们探索数据世界的吧!

pantouyuchiyu的博客 2238

如何使用autoviz库,实现一键可视化

以上代码则会在当前代码的文件夹下,创造一个名为custom_plot_dir的子文件夹存储产生的图片,chart_format="png"指定了图片格式。例如:chart_format="server",chart_format="bokeh"当verbose=2时,加上save_plot_dir=‘指定文件夹’需要在jupyter notebook中运行,且必须在代码开头加一条。verbose=1,会显示更多图片。

m0_74854947的博客 408

一键自动化数据分析!快来看看 2023 年最受欢迎的 Python 宝藏工具库! ⛵

实际工作中,我们往往依托于业务数据分析制定业务策略。这个过程需要频繁地进行数据分析和挖掘,发现模式规律。对于算法工程师而言,一个有效的 AI 算法系统落地,不仅仅是模型这么简单——数据才是最底层的驱动。典型的『』包含 6 个关键步骤,其中『』是至关重要的一步。探索性数据分析,通常使用统计图形等数据可视化方法,探索数据的结构和规律,总结数据主要特征的方法。这一过程通常包含细碎的处理步骤和分析操作。

Everly_的博客 1507

盘点数据挖掘中常见的5种 AutoEDA 工具

大家好,我们都知道在数据挖掘的过程中,数据探索性分析一直是非常耗时的一个环节,但也是绕不开的一个环节。 我们能否使用一些自动化工具代替人来完成数据分析的过程呢,现有一些成熟的 AutoEDA 工具可以一定程度上完成上述过程。本文中,我将盘点常见的 AutoEDA 工具,欢迎收藏学习,喜欢点赞支持,文末提供技术交流群,欢迎畅聊。 1、Pandas Profiling https://pandas-profiling.github.io/pandas-profiling/docs/master/index.ht

Python学习与数据挖掘 1990

【数据竞赛】盘点Kaggle中常见的AutoEDA工具库

在完成竞赛和数据挖掘的过程中,数据分析一直是非常耗时的一个环节,但也是必要的一个环节。能否使用一个工具代替人来完成数据分析的过程呢,现有的AutoEDA工具可以一定程度上完成上述过程。本文...

fengdu78的博客 446

几款EDA软件比较

  在一些论坛经常看到很多人,他们和大家一样都是从事pcb工作的,或者是曾经从事过这份工作的人,他们抱怨没有前途,甚至戏称pcb工程师就是扯线的,呵呵,很幽默的比喻;但我作为一个也曾经扯过线的pcb工程师,不得不提醒即将进入这一行业的新人们,千万不要错误地理解和接受了这样的观点,首先,行行出状元,何况是电子行业的工程师们,如果你有本事,你一样可以只做pcb,而拿到1w以上的工资,凭什么?当然你得是

flyslightlychenzifei的专栏 3万+

AutoViz,一个神奇的 Python 库

在Python的广阔江湖中,有一门神秘的武功——数据可视化,它能让数据以图形的方式展现出来,让人一目了然。今天,我们就来探讨这门武功中的一位隐秘高手——AutoViz库。AutoViz库简介AutoViz是一款强大的Python库,专为自动化数据可视化设计。只需一行代码,就能自动地将你的数据转换成各种有洞察力的图表。这就如同江湖中的轻功,让你在数据的海洋中轻松穿梭,一览众山小。为什么选择AutoViz一键可视化:AutoViz能够自动识别数据特点,为你推荐最合适的可视化图表。易于使用。

Trb401012的博客 1145

Autoviz - 使用一行代码自动可视化任何数据集

Autoviz:自动数据可视化库的详细介绍 这段文字介绍了名为 Autoviz 的数据可视化库。该库能帮助用户快速、便捷地生成各种类型的图表,以探索和分析数据。 主要内容: 功能: Autoviz 可以自动生成各种类型的图表,包括散点图、直方图、箱线图、概率图等等。它支持连续变量和分类变量,并根据数据类型自动选择合适的图表类型。 易用性: 使用 Autoviz 只需要一行代码就能实现数据可视化,...

krishnaik06的博客 480

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

weixin_53637133的博客 184
上一篇: PNAS | 文本网络分析&文化桥梁Python代码实现
下一篇: 强大的 Python 信号库:blinker 入门教程
Python_xiaowu
博客等级 码龄5年 3096粉丝 178原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值