机器学习（1）-数据预处理

最新推荐文章于 2025-06-26 11:43:12 发布
原创 最新推荐文章于 2025-06-26 11:43:12 发布 · 2.8k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #python #数据分析

本文介绍了在机器学习中如何处理数据缺失和异常情况，使用Python的Imputer类对数据进行均值、中值或最值填充，并进行数据编码，确保数据的整洁性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在对数据进行分析时，经常会遇到数据缺失或者异常的情况
在这样的数据多的情况下删掉数据终归会对整体造成一定的影响
所以采取对数据进行处理的方法让缺失或者异常的数据有数可用
例如用均值或者最值进行代替
本文便用少量的数据进行分析
下面的数据存在着缺失，数据表示的来自某一些国家的人的年龄，薪资，是否结婚
这里写图片描述
要知道：在python中缺失的数据默认是NaN

首先导入数据文件，设置数据文件的自变量X，因变量y
X取除了最后一列的所有值
y取最后一列的值

dataset=pd.read_csv('Data.csv')
X=dataset.iloc[:,:-1].values #自变量矩阵 
#  iloc是取矩阵的某行某列 除第一列外的所有列
y=dataset.iloc[:,3].values  #取第三列

接着，用Imputer类对缺失数据进行处理
在Imputer类的参数里 mean是指的是均值，median、most_frequent指的是中值和最大值
用fit进行拟合之后

最低0.47元/天 解锁文章

200万优质内容无限畅学
python数据分析-Pandas的loc和iloc的用法和区别
qq_40395868的博客
02-27 6938
loc和iloc的区别和用法 一、区别 loc适用于索引中的标签。 iloc在索引中的位置上起作用（因此仅采用整数）。 （1）loc的用法 data.loc[:,'列一'] #取出所有行第一列，loc可以理解为传入两个参数一个是关于行的，一个是关于列的。 data.loc[:,['列一','列四','列三']] #取出所有行多列，就把列名包裹成列表的形式。 data.loc[0:5,['列一','列四','列三']] #取出某几行某几列，把行索引和列名传入。 data.loc[data['列四']==138
pandas取出某一列_机器学习Pandas数据处理手册
weixin_39979159的博客
11-22 4693
前言：在学习机器学习的过程中，对数据进行预处理时避免不了需要使用Pandas进行大量操作。而Pandas的方法与对象众多，一条一条不好记。因此在这里从八个方面试图对用到的Pandas方法进行总结，在以后使用时可以直接查表。注：下面df均为DataFrame的缩写。另外也会陆续更新一些常用的机器学习操作，例如缺省值的处理等。一：基本核心部件：DataFrame与Series DataFrame相当于...
Pandas中loc和iloc函数（提取某几列或者行的数据）
热门推荐
Drug discovery
04-21 7万+
loc函数：通过行索引 "Index" 中的具体值来取行数据（如取"Index"为"A"的行） iloc函数：通过行号来取行数据（如取第二行的数据） 本文给出loc、iloc常见的五种用法，并附上详细代码。 1. 利用loc、iloc提取某一行数据 import numpy as np import pandas as pd #创建一个Dataframe data=pd.DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=
【机器学习&深度学习】数据预处理
最新发布
qq_62223405的博客
06-26 1009
数据预处理的目的是什么？ 把原始数据 → 变成模型可训练格式：张量形式，标准大小，归一化，增强（如翻转/旋转）。
【机器学习】1单变量线性回归
qq_56769994的博客
03-06 2501
ex1data1数据集如下 前一列表示人口，后一列表示利润故变量只有人口，现要对该数据集进行线性拟合，并用图形展示 具体python代码展示如下： 1，首先是库函数的引用和原始数据的绘制 用到了numpy库，pandas库,matplotlib库中的pyplot模块（写在程序开头） path指明文件名，文件名以字符串形式写（需注意若如此写则该py文件应和数据集txt文件在同一目录下） pandas读取CSV文件方法：pd.read_csv(path,header=None,na
机器学习第一篇：数据预处理
weixin_52419462的博客
11-06 384
数据预处理
note2
m0_46661183的博客
09-15 510
逻辑回归与多层感知
机器学习-数据预处理的资源包
10-26
在学习数据预处理的过程中，通过实际操作预处理过的数据集，用户可以更加直观地了解数据预处理对机器学习模型性能的影响。 机器学习-数据预处理的资源包为机器学习的入门者和实践者提供了一个宝贵的学习和参考资料...
人工智能-机器学习-数据预处理-预处理数据例如去除xml标签，去停用次，分词，计算TF-IDF
03-04
在人工智能和机器学习领域，数据预处理是至关重要的一步，它直接影响着模型的性能和准确性。数据预处理涉及多种技术，其中包括去除XML标签、去除停用词、分词以及计算TF-IDF。以下是对这些步骤的详细解释： 1. 去除...
机器学习-数据预处理-聚类-回归-单车数据集
06-27
机器学习-数据预处理-聚类-回归-单车数据集
机器学习-红酒数据集可视化-数据预处理（含数据集）
03-05
随着机器学习技术的不断发展，数据预处理作为机器学习工作流程中的一个关键步骤，其重要性日益凸显。数据预处理包括数据清洗、数据集成、数据转换和数据规约等多个环节，而数据可视化则是理解和探索数据的一个重要...
sklearn机器学习笔记：数据预处理与特征工程.pdf
07-10
在机器学习领域，数据预处理和特征工程是至关重要的步骤，它们对模型的性能和准确性起着决定性作用。sklearn库提供了丰富的工具用于这两部分的工作。以下是对这两个主题的详细探讨。 首先，数据预处理的目标是将...
机器学习：【5】逻辑回归实践（二分类问题）
Alex的技术博客
02-07 571
对于逻辑回归函数，最好使用交叉熵损失函数更有效，交叉熵会输出一个更大的损失 交叉熵刻画的是实际输出概率和期望输出概率的的距离 #本代码基于tensorflow2.0 import tensorflow as tf import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline ......
机器学习中的数据预处理方法与步骤
全栈川川
06-02 4万+
机器学习预处理详细方法
机器学习——数据的预处理（总结大全）
君莫笑的博客
04-06 3万+
特征缩放 一、为什么要特征数据缩放？ 有特征的取值范围变化大，影响到其他的特征取值范围较小的，那么，根据欧氏距离公式，整个距离将被取值范围较大的那个特征所主导。 为避免发生这种情况，一般对各个特征进行缩放，比如都缩放到[0,1]，以便每个特征属性对距离有大致相同的贡献。 作用：确保这些特征都处在一个相近的范围。 优点：1、这能帮助梯度下降算法更快地收敛，2、提高模型精 直接求解的缺点： 1、当x1 特征对应权重会比x2 对应的权重小很多，降低模型可解释性 2、梯度......
机器学习——感知机
zyz博客
10-31 9847
在本部分，我参考了网上多位博文对感知机的不同理解，大家可以根据自己的喜好进行对应的理解。输入为实例的特征向量，输出为实例的类别，取+1和-1；感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型；导入基于误分类的损失函数；利用梯度下降法对损失函数进行极小化；感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式；1957年由Rosenblatt提出，是神经网络与支持向量机的基础。感知机接收多个输入信号，输出一个信号。感知机的信号只有“流/不流”（1/0）两种取值。
机器学习--数据读取
bw876720687的博客
04-22 1017
不同来源的数据集的读取方式不同 批量读取数据或者分批次读取数据 遇到大的文件，需要分块读取的方式 import pandas as pd # 读取前1000行数据 data = pd.read_csv('data.csv',nrows =1000) #只读第一列，想读哪一列就在后面写哪一列 df=pd.read_csv("data.csv",usecols=colums_label) #设置chunksize参数，来控制每次迭代数据的大小，分块读取 chunker = pd.read_csv("./
机器学习（1）
weixin_41761357的博客
11-14 502
机器学习流程 数据收集——收据清洗——特征工程——数据建模 机器学习中的数据 数据x+标签y 不局限与数值型数据，图像，文本，语音等都可以作为数据。 机器学习的分类 有监督学习：有标签。输入数据有标注。 无监督学习：无标签。输入数据无标注。 两者有不同之处：有监督学习分训练集和测试集，在训练集中找规律，在测试集中用找到的规律测试找的对不对；无监督学习没有训练集，在这组数据里自行寻找规律。 何时采用何种方法：从定义出发，有训练样本参考则考虑采用监督学习 线性回归 线性回归是回归问题中的一种，研究因变量和.
python iloc和loc切片
05-28 6197
文章目录一、含正负号的下标二、loc和iloc1. 利用loc、iloc提取行数据2. 利用loc、iloc提取列数据3.利用loc、iloc提取指定行、指定列数据4.利用loc、iloc提取所有数据5.利用loc函数，根据某个数据来提取数据所在的行 一、含正负号的下标 正下标从0开始，负下标从-1开始1。切片的时候包括头不包括尾部。 二、loc和iloc loc是指location的意思，iloc中的i是指integer。 【1】iloc：根据标签的所在位置，从0开始计数，先选取行再选取
机器学习入门：数据预处理与数据集下载指南
【标题】中提到的“数据集与源码下载”意味着本博客提供了一个学习资源，初学者可以通过下载所需的数据集和源码，来实际操作并学习数据预处理和机器学习的相关知识。数据集可以是公开的，如UCI机器学习库提供的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值