精选10个Python库,几行代码轻松搞定探索性数据分析!

详解5个Python自动化探索性数据分析库 YData Profiling执行起来很简单,UI很直观,给了我所有的信息,这是开始EDA过程的一个很好的切入点。D-Tale不仅是EDA过程的一个很好的起点,而且可以用来轻松地预处理数据,最主要是不需要编写任何代码,这使得它非常节省时间,并且任何人都可以轻松访问。SweetViz的UI有点过时,但它提供了相当数量的信息,最主要的时他可以比较两个数据集。 阅读详情

探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。

自动化的EDA Python包可以用几行Python代码执行EDA。在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包,看看他们都有什么功能,能在多大程度上帮我们自动化解决EDA的需求。(文末附Python学习资料)

  1. DTale
  2. Pandas-profiling
  3. sweetviz
  4. autoviz
  5. dataprep
  6. KLib
  7. dabl
  8. speedML
  9. datatile
  10. edaviz

1、D-Tale

在这里插入图片描述
D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。
在这里插入图片描述
D-Tale库用一行代码就可以生成一个报告,其中包含数据集、相关性、图表和热图的总体总结,并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析,上面截图中我们可以看到图表是可以进行交互操作的。

2、Pandas-Profiling

Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report(),并且在大型数据集上工作得非常好,它可以在几秒钟内创建报告。

#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

#Saving results to a HTML file
profile.to_file("output.html")

在这里插入图片描述

3、Sweetviz

Sweetviz是一个开源的Python库,只需要两行Python代码就可以生成漂亮的可视化图,将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。

import pandas as pd
import sweetviz as sv

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')

Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。
在这里插入图片描述

4、AutoViz

在这里插入图片描述
Autoviz包可以用一行代码自动可视化任何大小的数据集,并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。

import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')

在这里插入图片描述

5、Dataprep

Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上,可以很容易地与其他Python库集成。

DataPrep的运行速度这10个包中最快的,他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。

from dataprep.datasets import load_dataset
from dataprep.eda import create_report

df = load_dataset("titanic.csv")
create_report(df).show_browser()

在这里插入图片描述

6、Klib

在这里插入图片描述
klib是一个用于导入、清理、分析和预处理数据的Python库。

import klib
import pandas as pd

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)

klibe虽然提供了很多的分析函数,但是对于每一个分析需要我们手动的编写代码,所以只能说是半自动化的操作,但是如果我们需要更定制化的分析,他是非常方便的。
在这里插入图片描述

7、Dabl

Dabl不太关注单个列的统计度量,而是更多地关注通过可视化提供快速概述,以及方便的机器学习预处理和模型搜索。

dabl中的Plot()函数可以通过绘制各种图来实现可视化,包括:

  • 目标分布图
  • 散点图
  • 线性判别分析
import pandas as pd
import dabl

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")

在这里插入图片描述

8、Speedml

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包,包括 Pandas,Numpy,Sklearn,Xgboost 和 Matplotlib,所以说其实SpeedML不仅仅包含自动化EDA的功能。

SpeedML官方说,使用它可以基于迭代进行开发,将编码时间缩短了70%。

from speedml import Speedml

sml = Speedml('../input/train.csv', '../input/test.csv',
            target = 'Survived', uid = 'PassengerId')
sml.train.head()

在这里插入图片描述

9、DataTile

DataTile(以前称为Pandas-Summary)是一个开源的Python软件包,负责管理,汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe()函数的扩展。

import pandas as pd
from datatile.summary.df import DataFrameSummary

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()

在这里插入图片描述

10、edaviz

edaviz是一个可以在Jupyter Notebook和Jupyter Lab中进行数据探索和可视化的python库,他本来是非常好用的,但是后来被砖厂(Databricks)收购并且整合到bamboolib 中,所以这里就简单的给个演示。
在这里插入图片描述

总结

在本文中,我们介绍了10个自动探索性数据分析Python软件包,这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。

作为一个IT的过来人,我分享的都是一些自己的学习方法和干货。

最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频

四、实战案例

五、面试资料



最后,千万别辜负自己当时开始的一腔热血,一起变强大变优秀。

klib:易于使用的Python自定义函数库,用于清理和分析数据 klib是一个Python库,用于导入,清理,分析和预处理数据。 有关关键功能的说明,请参见部分或 。 安装 使用软件包管理器安装klib。 pip install -U klib 或者,要使用conda run安装此软件包: conda install -c conda-forge klib 用法 import klib import pandas as pd df = pd . DataFrame ( data ) # klib.describe - functions for visualizing datasets - klib . cat_plot ( df ) # returns 立即下载

相关推荐

dtale:熊猫数据结构的可视化工具

它是什么? D-Tale是Flask后端和React前端的结合,为您提供查看和分析Pandas数据结构的简便方法。 它与ipython笔记本和python / ipython终端无缝集成。 当前,此工具支持诸如DataFrame,Series,MultiIndex,DatetimeIndex和RangeIndex之类的Pandas对象。 起源 D-Tale是SAS到Python转换的产物。 最初是基于SAS insight功能的perl脚本包装,现在是基于Pandas数据结构的轻量级Web客户端。 在新闻里 (警告:已弃用的功能) 讲解 相关资源 内容 ,,,,,,,,

D-Tale:一款功能异常强大的探索性数据分析工具

大家好,今天给大家分享一款十分强大的数据集探索性分析插件D-Tale。 可以通过它,我们可快速分析和了解数据的基本情况,进一步进行数据分析和可视化,喜欢记得收藏、点赞、关注。 注:完整数据文末获取。 安装好该模块 pip install dtale 用D-Tale插件打开数据集 我们在D-Tale中打开数据集,代码如下 import dtale import pandas as pd df = pd.read_csv(r'gapminder_full.csv') d = dtale.show(df) d

Python数据挖掘 4009

RS-485调试踩坑实录:MAX13487数据回环问题排查与修复(附电路图)

本文深入解析了RS-485通信中MAX13487芯片的数据回环问题,提供了详细的排查过程和解决方案。通过分析芯片特性和自动换向机制,揭示了RO引脚配置不当是导致问题的关键原因,并给出硬件(添加上拉电阻)和软件(调整MCU配置)两种修复方案,附有优化设计建议和实际调试技巧。

play7的博客 1301

Python探索性数据分析

描述性统计,这是一种简要概述我们正在处理的数据集的方法,包括样本的一些度量和特征分组数据 [使用group by 进行基本分组]ANOVA,方差分析,这是一种计算方法,可将观察集中的变化划分为不同的分量。相关和相关方法。

m0_72829928的博客 1706

数据库:关系运算整理大全(包括关系代数、元组关系演算、域关系演算)

数据库关系运算: 1. 关系代数(基本关系代数、附加关系代数、扩展关系代数) 2. 元组关系演算 3. 域关系演算

ysji's blog 2万+

VBA学习笔记6:将多个工作表中满足条件的数据汇总到同一个工作表

VBA学习笔记6:将多个工作表中满足条件的数据汇总到同一个工作表

weixin_45355881的博客 4708

2019最强Python书单,你要的都在这里!

Python 是军刀型的开源工具,被广泛应用于Web 开发、爬虫、数据清洗、自然语言处理、机器学习和人工智能等方面,而且Python 的语法简洁易读,这让许多编程入门者不再望而却步,因此Python 在最近几年非常受欢迎,各行各业的技术人员都开始使用Python。今天带来这份Python书单,从入门进阶到开发实战,总有一本适合现阶段的你来学习! Python 并行编程手册 5大主题,涵盖多...

Python新手学习之家 283

深入解析摄像头硬件接口:DVP、MIPI-CSI2与USB的技术对比与应用场景

本文深入解析了摄像头三大主流硬件接口DVP、MIPI-CSI2与USB的核心技术差异。DVP接口作为并行传输的“老兵”,成本低但带宽和抗干扰能力有限;MIPI-CSI2凭借差分串行设计成为移动高清设备的首选,具备高带宽和强抗干扰性;USB接口则依托UVC标准实现了跨平台的即插即用。文章通过对比传输方式、带宽、应用场景等关键维度,为智能硬件、嵌入式系统等领域的工程师提供了清晰的选择指南。

c7d8e的博客 515

2019最牛Python书单,学习Python的小伙伴看这里!

Python 是军刀型的开源工具,被广泛应用于Web 开发、爬虫、数据清洗、自然语言处理、机器学习和人工智能等方面,而且Python 的语法简洁易读,这让许多编程入门者不再望而却步,因此Python 在最近几年非常受欢迎,各行各业的技术人员都开始使用Python。今天带来这份Python书单,从入门进阶到开发实战,总有一本适合现阶段的你来学习!在这里还是要推荐下我自己建的Python开发学习裙...

Python达人 913

别再为Word转PDF表格变形发愁了!Aspose.Words for Java 19.5 保姆级避坑指南

本文详细介绍了使用Aspose.Words for Java 19.5解决Word转PDF时表格变形问题的完整方案。从格式转换原理到实战技巧,涵盖固定表格宽度、禁用自动调整、强制文本换行等核心方法,并提供高级场景应对策略和性能优化建议,帮助开发者高效处理复杂文档转换需求。

weixin_28702105的博客 267

PCL 计算点云直线拟合的精度评价标准——直线度

计算点云直线拟合的精度评价标准——直线度

点云侠的博客 1042

python零基础看什么书-零基础想要学习Python编程 ,不知道看哪本书?

前言Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取!想要学习Python编程不知道看哪本书?今天就推荐给你几本从Python入门进阶到开发实战的书籍,你做参考!Python 是军刀型的开源工具,被广泛应用于Web 开发、爬虫、数据清洗、自然语言处理、机器学习和人工智能等方面,而且Pyt...

weixin_37988176的博客 146

低功耗 AI 人体存在检测系统:智能照明与安防的高效解决方案

低功耗 AI 人体存在检测系统通过 “ESP32-C3 主控 + HX7110 AI 模块” 的硬件组合,搭配双重检测算法与深度睡眠机制,既解决了传统检测方案的误报问题,又满足了长时间低功耗运行需求。系统接线简单、代码可直接移植,可快速集成到智能照明、安防监控等物联网设备中,具备广泛的应用前景。

weixin_42300449的博客 226

Python数据探索性分析和预处理

除了上面介绍的三种基于分布的方法,还有使用算法基于距离的异常值判定,比如:使用KNN算法,依次计算每个样本点与它最近的K个样本的平均距离,再利用计算的距离与阈值进行比较,如果大于阈值,则认为是异常点。在搜集数据的某些情况下,有些时候并不一定会收集到数据,因而会造成观测值或变量的数据有缺失,这些缺失的数据就称之为缺失值。总之,处理缺失值是需要研究数据规律与缺失情况来进行处理的,复杂的算法不一定有好的效果,因此,还要具体问题具体分析,尤其是要搞明白字段含义以及缺失意义,这往往容易被忽略。...

Itsme_MrJJ的博客 7647

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

10个自动EDA库功能介绍:几行代码进行的数据分析靠不靠谱

在本文中整理了10个可以自动执行EDA并生成有关数据的见解的软件包,看看他们都有什么功能,能在多大程度上帮我们自动化解决EDA的需求。

deephub 4192

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

python教程55--D-Tale使用介绍

一本入门级别的电子书,基本上都是函数介绍和使用函数的小案例。 现在把链接分享一下: 链接: https://pan.baidu.com/s/15RHw-Ai35DEZYjGdlJoodA 提取码: 0oc8

itmsn的专栏 1230

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Python数据分析库 Scipy:科学计算与数据分析的利器!

Scipy(Scientific Python)在现代科学研究和数据分析中是一个不可或缺的库。它建立在NumPy的基础上,提供了更多的高级科学计算功能,包括优化、信号处理、统计分析、插值、线性代数等。

2201_75362610的博客 7642

5个Python自动化探索性数据分析库

YData Profiling执行起来很简单,UI很直观,给了我所有的信息,这是开始EDA过程的一个很好的切入点。D-Tale不仅是EDA过程的一个很好的起点,而且可以用来轻松地预处理数据,最主要是不需要编写任何代码,这使得它非常节省时间,并且任何人都可以轻松访问。SweetViz的UI有点过时,但它提供了相当数量的信息,最主要的时他可以比较两个数据集。作者:Sharod Dey来源:Deephub Imba。

AI大模型资料分享员 1174

10 个 Python 自动探索性数据分析神库!

在本文中,我们介绍了10个自动探索性数据分析Python软件包,这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。Dataprep是我最常用的EDA包,AutoViz和D-table也是不错的选择,如果你需要定制化分析可以使用Klib,SpeedML整合的东西比较多,单独使用它啊进行EDA分析不是特别的适用,其他的包可以根据个人喜好选择,其实都还是很好用的,最后edaviz就不要考虑了,因为已经不开源了。学好 Python 不论是就业还是做副业赚钱。

优快云_430422的博客 355

快快收藏!10个 Python 自动探索性数据分析神库!

在本文中,我们介绍了10个自动探索性数据分析Python软件包,这些软件包可以在几行 Python 代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。

fengshi_fengshi的专栏 1050
上一篇: 上万行代码里总结出的22个Python万用公式,建议收藏!
下一篇: 神了!用Python预测世界杯决赛,发现准确率还挺高!
智泊AI官方
博客等级 码龄6年 8638粉丝 2667原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值