机器学习笔记 - Python数据清理通用流程简述

原创 于 2024-05-01 15:51:25 发布 · 317 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #数据清理 #EDA #异常值 #特征工程 #归一化 #数据科学

本文概述了机器学习中数据清理的重要性，详细介绍了处理缺失值、异常值、重复项、数据错误和不一致的方法。使用Python库如Pandas进行数据清理，包括填充缺失值、检测和处理异常值、删除重复数据。此外，还讨论了数据转换和特征工程，如归一化、编码分类变量以及特征工程技术的应用。最后，提到了数据清理的一些实践和技巧，强调了保持原始数据、记录清理过程和避免引入偏差的重要性。

一、简述

        Python中数据清理是重要的环节，并通过解决缺失值、离群值、重复和不一致等常见问题以进行下一步的数据分析。

        通常我们开始一个新的数据项目时，通因为各种各样的问题，通常获得的数据很少能直接上到模型里面去跑，所以要进行清理，清理数据是一个消除错误、异常值和不一致并确保所有数据采用适合我们分析的格式的过程。

        包含许多错误或未经过此数据清理过程的数据称为脏数据。

        比如下面的一个小数据集，虽然大家分数都不高，但是小李有两条重复的数据，如果我们计算分数列的平均值，那么这个数据是不准确的。

姓名 分数
小李 36
小王 40
小李 36
小张 35

二、脏数据

了解本专栏 订阅专栏 解锁全文
机器学习笔记 - YOLOv7 论文简述与推理
学以致用 知行合一
10-20 4153
YOLO 系列对象检测模型已经取得了长足的进步。YOLOv7 是这个著名的基于锚的单次目标检测器系列的最新成员。它带来了一系列改进，包括最先进的准确性和速度。以 COCO 数据集为基准，YOLOv7 tiny 模型实现了 35% 以上的 mAP，YOLOv7（正常）模型实现了 51% 以上的 mAP。论文地址YOLOv7 是 YOLO 系列中最先进的新型物体检测器。根据 YOLOv7 论文，它是迄今为止最快、最准确的实时物体检测器。YOLOv7 通过将其性能提升一个档次建立了一个重要的基准。
机器学习笔记 - 杂记三
学以致用 知行合一
03-28 2299
1、sklearn中svm模型的保存与加载调用 2、panda中删除一列的方法 3、cannot import name joblib from sklearn.externals 4、sklearn中KFold与StratifiedKFold 5、pandas删除满足条件的行 6、pandas drop函数参数 7、使用Sklearn创建测试数据集 8、最小二乘法简述
机器学习笔记-Logistic分类
weixin_45972476的博客
07-20 876
我们知道，回归模型一般是去根据已有的标记数据去预测新事物。Logistic回归模型因为历史原因有“回归”二字，但其实是一个分类模型。而Logistic分类与其他分类模型比如聚类又有什么区别呢？Logistic分类是有监督学习，必须需要人工标注；聚类则是无监督学习，只需要原始自然数据不需要标签。Logistic分类包括二分类与多分类，本篇文章重点关心二分类算法的实现，多分类我们可以通过简单的二分类的组合去实现。
学习笔记-深度学习-机器学习的通用工作流程
m0_62382361的博客
08-21 338
内容是对《Python深度学习》的摘录、理解、代码实践和遇到的问题。
机器学习笔记 - 基于自定义数据集 + 3D CNN进行视频分类
最新发布
学以致用 知行合一
01-22 666
这里主要介绍了基于自定义动作识别数据集训练用于视频分类的 3D 卷积神经网络 (CNN) 。3D CNN 使用三维滤波器来执行卷积。内核能够在三个方向上滑动，而在 2D CNN 中它可以在二维上滑动。 这里的模型主要基于D. Tran 等人2017年的论文“动作识别的时空卷积研究”。https://arxiv.org/abs/1711.11248v3https://arxiv.org/abs/1711.11248v3 数据集使用的是别人贡献的开源数据集，感谢所有愿意开源的兄弟。动
机器学习笔记07---朴素贝叶斯分类器
m0_64007201的博客
10-29 3882
朴素贝叶斯分类器
机器学习笔记 - 信息增益和香农熵
学以致用 知行合一
09-20 776
如何合理的划分数据集？划分数据集的大原则是：将无序的数据变得更加有序。组织杂乱无章数据的一种方法就是使用信息论度量信息，在划分数据集之前之后信息发生的变化称为信息增益，知道如何计算信息增益，我们就可以 计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。 在可以评测哪种数据划分方式是最好的数据划分之前，我们必须学习如何计算信息增益。集合信息的度量方式称为香农熵或者简称为熵，这个名字来源于信息论之父克劳德·香农。 熵定义为信息的期望值，在明晰这个概念之前，我们必须知道
机器学习笔记 - 机器学习/深度学习实战案例合集
学以致用 知行合一
06-05 2588
案例1、使用opencv的DNN模块调用caffe的GoogLeNet图像分类模型 案例2、使用Opencv的DNN模块调用Tensorflow的mobilenet对象检测模型 案例3、基于tensorflow2.0的手写数字识别，并导出pb模型供OpenCV的C++版本的DNN模块调用 案例4、基于OpenCV图像处理和手写数字识别进行数独求解 案例5、自定义数据集 + 标准前馈神经网络分类进行训练 案例6、自定义数据集 + 卷积神经网络分类进行训练 案例7、使用Opencv的DNN模块调用Caffe的人
机器学习笔记 - 基于深度学习的多种目标跟踪检测框架简述
学以致用 知行合一
06-14 1714
对象跟踪基准 （OTB） 是一种视觉跟踪基准，广泛用于评估视觉跟踪算法的性能。该数据集总共包含 100 个序列，每个序列都带有边界框和 11 个挑战属性逐帧注释。OTB-2013 数据集包含 51 个序列，OTB-2015 数据集包含 OTB 数据集的所有 100 个序列。下面网址是OTB官网，提供数据集。视觉跟踪器基准测试 (hanyang.ac.kr)部分示例图像。
Python学习笔记
11-24
16. 机器学习基础：简述机器学习的基本概念，可能包括监督学习、无监督学习、模型评估等，以及Python中常用的机器学习库如Scikit-learn的使用。 通过这个笔记，读者将能够逐步建立起对Python编程的全面认知，从基础...
机器学习笔记 - 使用 YOLOv5、O​​penCV、Python 和 C++ 检测物体
学以致用 知行合一
08-03 4564
YOLO v5虽然已经不是最先进的对象检测器，但是YOLOv5 使用了一个简单的卷积神经网络 CNN架构（相对YOLO v8来讲，不过v8精度是更高了一些），更易理解。这里主要介绍如何轻松使用 YOLO v5来识别图像中的对象。将使用 OpenCV、Python 和 C++ 来加载和调用我们的 YOLO v5 模型。目标检测是最重要的计算机视觉任务之一。对于每个对象，对象检测算法分配一个值，表示该检测的确定性。另外我们可以自己训练 YOLOv5，以便教它检测其他类型的物体。
机器学习笔记 - 什么是支持向量回归(SVR)？
热门推荐
学以致用 知行合一
04-14 5万+
SVM 回归算法称为支持向量回归或SVR。支持向量回归是一种监督学习算法，用于预测离散值。支持向量回归使用与 SVM 相同的原理。SVR 背后的基本思想是找到最佳拟合线。在 SVR 中，最佳拟合线是点数最多的超平面。 ​ SVR将输入的数据的原始空间映射到更高维的特征空间，通常通过非线性高斯核函数实现。在特征空间中，问题变成了拟合数据的最优线性平面的构造。
机器学习笔记 - 什么是高斯混合模型(GMM)？
学以致用 知行合一
05-21 5万+
高斯混合模型 (GMM) 是一种机器学习算法。它们用于根据概率分布将数据分类为不同的类别。高斯混合模型可用于许多不同的领域，包括金融、营销等等！这里要对高斯混合模型进行介绍以及真实世界的示例、它们的作用以及何时应该使用GMM。 高斯混合模型 (GMM) 是一个概率概念，用于对真实世界的数据集进行建模。GMM是高斯分布的泛化，可用于表示可聚类为多个高斯分布的任何数据集。 高斯混合模型是一种概率模型，它假设所有数据点都是从具有未知参数的...
机器学习笔记 - 什么是UMAP？
学以致用 知行合一
04-25 2万+
统一流形逼近和投影 (UMAP) 是一种降维技术，可用于类似于 t-SNE 的可视化，但也可用于一般的非线性降维。UMAP 是一种基于流形学习技术和拓扑数据分析思想的降维算法。它为处理流形学习和降维提供了一个非常通用的框架，但也可以提供具体的具体实现。   该算法基于对数据的三个假设：   数据均匀分布在黎曼流形上；   黎曼度量是局部常数（或可以近似）；   歧管是本地连接的。   根据这些假设，可以用模糊拓扑结构对流形进行建模。通过搜索具有最接近的等效模糊拓扑结构的数据的低维投影来
MATLAB学习笔记 imagesc函数使用
学以致用 知行合一
01-12 1万+
imagesc(C)将数组中的数据显示 C为使用颜色图中的全部颜色范围的图像。的每个元素C指定图像的一个像素的颜色。所得到的图像是一个 m-by-n像素的网格，其中 m是的行数和n在列数C。元素的行和列索引决定了相应像素的中心。
计算机视觉 - 什么是图像配准？
学以致用 知行合一
05-07 1万+
图像配准是叠加两个或多个来自不同来源、在不同时间和角度拍摄的图像的过程。图像配准过程是一种自动或手动操作，它试图发现两张照片之间的匹配点并在空间上对齐它们以最小化所需的误差，即两幅图像之间的统一邻近度测量。医学、遥感和计算机视觉都使用图像配准。 一旦在图片之间建立了对应关系，通常可以简单地调节或处理对两张或多张照片之间的联系的研究。建立这种相关性的过程称为图像配准。
OCR - 微软windows 11系统自带的Windows OCR功能初体验
学以致用 知行合一
09-25 1万+
Windows 11 允许用户通过预装的 Power Automate 应用创建自动化。Power Automate 是一个低代码平台，使家庭和企业用户能够优化他们的工作流，自动执行重复且耗时的任务。任何 Windows 用户都可以在几乎没有编码经验的情况下构建流。超过 400 个预建操作的集合和一个捕获鼠标和键盘功能的记录器，使 RPA 对普通用户和高级用户来说都很简单直接。更多详细信息见下面官方链接。
机器学习笔记 - 矩阵乘法
学以致用 知行合一
04-12 1万+
矩阵相乘的标准方法不是将一个矩阵的每个元素与另一个矩阵的每个元素相乘（称为元素乘积），而是计算行和列之间的乘积之和。矩阵积，也称为点积。 第一个矩阵的列数必须等于第二个矩阵的行数。如果第一个矩阵的维度是(m×n)，则需要第二个矩阵的维度必须为(n×x)，得到的结果矩阵的维度为(m×x)。
机器学习笔记 - 自动编码器autoencoder
学以致用 知行合一
03-27 1万+
自编码器是开发无监督学习模型的主要方式之一。但什么是自动编码器？ 简而言之，自动编码器通过接收数据、压缩和编码数据，然后从编码表示中重构数据来进行操作。对模型进行训练，直到损失最小化并且尽可能接近地再现数据。通过这个过程，自动编码器可以学习数据的重要特征。 自动编码器是由多个层组成的神经网络。自动编码器的定义方面是输入层包含与输出层一样多的信息。输入层和输出层具有完全相同数量的单元的原因是自动编码器旨在复制输入数据。然后分析数据并以无监督方式重建数据后输出数据副本。
数据科学学习笔记：机器学习与NLP核心知识点
描述：“数据科学的一点学习笔记（持续更新中）备注我自己试了试pycharm的markdown，看不了目录跟公式，大家按自己的编辑器康康怎么弄吧内容简述机器学习跟nlp方面已经有比较完整的笔记，会陆续搬到github。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值