机器学习笔记 - 探索性数据分析(EDA) 学习进阶

已于 2023-09-09 12:04:22 修改
阅读量5.5k 收藏 18
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： EDA 探索性数据分析 自相关图 散点图 数据分析
于 2022-04-13 11:59:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/124144324
本文介绍了EDA（探索性数据分析）的概念，强调它是一种数据分析哲学，通过图形技术洞察数据，选择合适模型，而非固定的技术集合。EDA与经典数据分析、汇总分析的主要区别在于其探索性和未来导向。目标是获取数据的深刻洞察，包括模型选择、异常值检测等。图形在EDA中发挥关键作用，如散点图、直方图等，用于揭示数据结构和模式。

一、什么是 EDA？

        探索性数据分析 (EDA) 是一种数据分析方法/哲学，它采用多种技术（主要是图形）。

        1、最大限度地洞察数据集；

        2、揭示底层结构；

        3、提取重要变量；

        4、检测异常值和异常；

        5、测试基本假设；

        6、开发简约模型；

        7、确定最佳因子设置。

        EDA 方法不是一套技术或函数或图形，而是一种关于如何进行数据分析的态度/哲学。

        EDA 与统计图形不同，尽管这两个术语几乎可以互换使

了解本专栏 订阅专栏 解锁全文
机器学习笔记 - 探索性数据分析(EDA) 概念理解
学以致用 知行合一
02-21 8248
了解您需要了解的有关探索性数据分析的所有信息，探索性数据分析是一种用于分析和汇总数据集的方法 一、什么是探索性数据分析？ 数据科学家使用探索性数据分析 (Exploratory Data Analysis) 来分析和调查数据集并总结其主要特征，通常采用数据可视化方法。它有助于确定如何最好地操纵数据源以获得所需的答案，从而使数据科学家更容易发现模式、发现异常、检验假设或检查假设。 EDA 主要用于查看在正式建模或假设检验任务之外可以揭示哪些数据，并提供对数...
机器学习笔记 - 探索性数据分析(EDA) 入门案例五
学以致用 知行合一
05-20 1156
泰坦尼克号的沉没是历史上最著名的沉船事件之一。1912 年 4 月 15 日，在她的处女航中，泰坦尼克号在与冰山相撞后沉没，2224 名乘客和船员中有 1502 人遇难。这一耸人听闻的悲剧震惊了国际社会，并导致了更好的船舶安全法规。 沉船事故导致生命损失的原因之一是没有足够的救生艇供乘客和船员使用。尽管在沉没中幸存下来有一些运气成分，但某些人群比其他人群更有可能幸存下来，例如妇女、儿童和上层阶级。 在这个挑战中，我们要求您完成对什么样的人可能幸存下来的分析。特别是，我们要......
【机器学习-33】EDA
m0_69378371的博客
02-13 1059
即探索性数据分析，是数据分析过程中的一个重要步骤，旨在通过可视化和统计技术深入了解数据的结构、模式、趋势、分布及潜在的异常值。EDA的目标是让分析人员对数据有一个初步的理解，为后续的数据建模和处理提供方向。EDA通常在数据清洗和特征工程之后进行，但在正式建模之前。它帮助分析人员发现数据中的规律或潜在问题，评估数据的质量，并指导后续的建模步骤。EDA是数据分析中的重要步骤，它帮助我们从数据中发现有价值的信息，并为后续的建模和特征工程提供依据。
EDA（Exploratory Data Analysis）数据探索式分析
q774798577的博客
02-25 3106
EDA数据探索性分析是在拿到全新数据集时，通常采用的一个步骤。可以让大家全面了解下数据集的基本情况，和在训练时可能遇到的问题，为后续的训练和分析做准备。数据探索式分析是一种思想，并没有固定的分析方法。我们拿到数据时，要根据数据集的特点，思考具体需要分析哪些内容。
机器学习新手别踩坑 EDA + 特征工程比瞎调参管用 10 倍
最新发布
思索的涟漪，突破自我
09-21 367
比如做简单的二分类问题，逻辑回归不仅训练快，还能清晰看出每个特征的影响权重 ——“用户活跃度每提升 10%，流失概率下降 5%”，这种可解释性是很多复杂模型比不了的。如果你的特征里既有 “用户年龄（18-80）”，又有 “消费金额（0-10000）”，后者的数值量级会直接 “碾压” 前者，导致模型只关注消费金额，完全忽略年龄因素。就拿特征相关性来说，要是 “用户月收入” 和 “可支配收入” 两个字段几乎完全相关，同时放进模型只会增加计算量，还可能导致过拟合，这时候就得删掉其中一个。你有没有见过这种情况？
数据分析（EDA）学习总结！
Datawhale
07-29 3352
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：张永泰，北京工业大学，Datawhale优秀学习者探索性数...
机器学习探索性数据分析 (EDA)
switch616的博客
10-16 2079
探索性数据分析（Exploratory Data Analysis, EDA）是机器学习工作流中至关重要的一个步骤，通过深入分析和理解数据的结构、分布和相关性，EDA帮助揭示数据背后的故事，并为后续的建模提供有力支持。本文将通过具体代码实例和详尽的分析步骤，详细探讨EDA的关键要素和应用。
探索性数据分析【EDA】：揭开数据的“面纱”（含源码）
weixin_53575943的博客
11-25 1592
探索性数据分析（Exploratory Data Analysis，EDA）是一种用于理解数据的初步分析方法，重点是通过洞察的方式揭示数据的基本特征和潜在模式。EDA不依赖于任何预设模型或假设，而是通过本身数据的分布、趋势和关联性，帮助分析者理解数据的结构。
机器学习笔记 - 探索性数据分析(EDA) 入门案例一
学以致用 知行合一
02-21 1154
探索性数据分析(EDA) 入门案例一 获取数据集基本信息 处理缺失值 数据可视化 处理异常值
机器学习笔记 - 探索性数据分析(EDA) 入门案例四
学以致用 知行合一
03-01 798
一、数据集说明 1、数据集 Tabular Playground Series - Feb 2022 | KagglePractice your ML skills on this approachable dataset!https://www.kaggle.com/c/tabular-playground-series-feb-2022/data 对于这个挑战，您将根据 DNA 片段的重复有损测量来预测细菌种类。使用拉曼光谱分析长度为 10 的片段，该光谱计算片段中碱基的直方图。 ...
EDA(Exploratory Data Analysis)探索性数据分析
weixin_41891249的博客
09-14 2855
总结EDA的主要方法以及代码
EDA:探索性数据分析
03-18
EDA 在本文中，我提到了关于如何对数据集执行EDA的步骤，以及我自己创建的用于几种技术的python函数。
数据分析之探索性数据分析（EDA）
bylfsj的博客
03-16 1139
EDA
EDA（探索性数据分析）
weixin_44879587的博客
09-24 5531
1、什么是EDA分析？ （Exploratory Data Analysis） 在特征、数据处理的过程中，对数据进行探索，找到他们之间的更多潜在关系。 2、怎么去做EDA分析？ 主要是通过数据可视化来显示数据之间的关联，从而对数据进行处理。 首先，我们应该思考的是是否会出现下列问题： 1、数据是否缺失，有没有离群点，特征有没有冗余 2、是否有重复样本，样本是不是不平衡分布 3、是不是需要降维 4、连续特征是否需要离散化 4、特征是不是可以组合形成新的特征 好的接下来我们可以去作图了， 直方图 1、查看数据的
【手拉手初探机器学习（一）EDA数据探索性分析与学习】
ONERYJHHH的博客
06-26 1067
初探机器学习—使用kaggle经典项目—房价预测数据集进行EDA分析过程的学习
探索性数据分析 (EDA) 简介
gongdiwudu的专栏
10-14 3657
探索性数据分析是研究或理解数据并提取洞察数据集以识别数据模式或主要特征的过程。EDA 通常分为两种方法，即图形分析和非图形分析。
EDA-数据探索分析
evenson1的博客
03-28 1872
import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import missingno as msno#缺失值可视化处理包 import warnings warnings.filterwarnings('ignore') #载入数据 ##载入训练集合测试集 te...
#数据挖掘--第1章：EDA数据探索性分析
投笔丶从戎的博客
03-24 9378
#机器学习--第1章：EDA数据探索性分析一、序言二、EDA的意义三、EDA的流程1、载入数据并简略观察数据 一、序言   本系列博客包含：数据分析、特征工程、模型训练等通用流程。将会一步一步引领大家完成一次完整的机器学习案例。点击下载 本系列博客所用数据集，提取码: r6m6。   数据相关字段解释： 项目 Value SaleID 交易ID，唯一编码 name 汽车交易名称...
【六 （2）机器学习-EDA探索性数据分析模板】
weixin_42924611的博客
04-06 1188
EDA（Exploratory Data Analysis）即探索性数据分析，EDA通过可视化、统计和图形化的方法，对数据集进行全面的、非形式化的初步分析，帮助分析人员了解数据的基本特征，发现数据中的规律和模式。这有助于获取对数据的直观感受和深刻理解，为后续的数据处理和建模提供基础。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值