数据预处理(1)——数据清洗

最新推荐文章于 2024-08-06 09:52:54 发布

-Heres-

最新推荐文章于 2024-08-06 09:52:54 发布

阅读量4.2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：数据挖掘文章标签：数据清洗

本文链接：https://blog.youkuaiyun.com/Vinsuan1993/article/details/80040340

本文介绍了数据清洗的重要性，重点讨论了缺失值处理，包括删除记录、数据插补和不处理策略。详细阐述了拉格朗日插值法和牛顿插值法，并给出了拉格朗日插值法的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、介绍

数据清洗主要内容是删除原始数据集中的无关数据、重复数据，平滑噪声数据，刷选掉与挖掘主题无关的数据，处理缺失值、异常值等。

二、缺失值处理

缺失值处理的方法分为三类：删除记录、数据插补和不处理。常见的数据插补方法如下图：

其中，需要介绍的两个插值法为：拉格朗日插值法和牛顿插值法。

2.1 拉格朗日插值法

2.2 牛顿插值法

3、关于拉格朗日插值法的示例

#拉格朗日插值代码
import pandas as pd #导入数据分析库Pandas
from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'data/catering_sale.xls' #销量数据路径
outputfile = 'sales.xls' #输出数据路径

    In [35]: 
  

data = pd.read_excel(inputfile) #读入数据
data

      Out[35]: 
    

	日期	销量
0	2015-03-01	51.0
1	2015-02-28	2618.2
2	2015-02-27	2608.4
3	2015-02-26	2651.9
4	2015-02-25	3442.1
5	2015-02-24	3393.1
6	2015-02-23	3136.6
7	2015-02-22	3744.1
8	2015-02-21	6607.4
9	2015-02-20	4060.3
10