第五章数据清洗

数据预处理实战

原创已于 2022-11-26 17:06:28 修改 · 273 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#etl

于 2022-11-02 21:12:44 首次发布

5.1数据去重
5.1.1完全去重
点击“获取字段”，配置csv文件输入的属性：Name，Gender，City
在这里插入图片描述
配置唯一行属性，选择要去重的属性：Name，Gender，City

运行结果，完全去重成功

5.1.2不完全去重
将文本分隔符替换为一个TAB，选择字段：Name,UserLevel，Phone，VisitTime
在这里插入图片描述
配置唯一行，选择要比较去重的字段：Name,UserLevel，Phone

运行结果：不完全去重成功

5.2缺失值处理
在这里插入图片描述

5.2.2去除缺失值
配置文本文件输入，获取字段：Name,Sex,Pay,Area
在这里插入图片描述
配置过滤记录组件，添加过滤条件

查看效果

运行成功

5.2.3填充缺失值
配置过滤记录控件

配置合并记录控件，选择匹配关键字：userid

将hours_per_week的null值替换为44

将字段workclass的null值替换为Private
在这里插入图片描述
配置字段选择控件，移除flagfield字段

查看结果：已经将null值填充完毕

5.3.3删除包含异常值的记录
读取文件出错
在这里插入图片描述
5.3.4修补异常值
将Height字段的null值替换为170

合并记录，选择匹配的关键字段：id

将Height字段的260设置为null

设置过滤记录条件：Height>=114 and Height<=226

配置表输入，写入SQL语句：SELECT * FROM interpolation_data
在这里插入图片描述

在这里插入图片描述
运行结果：数据表interpolation_data中的异常值已被替换

5.4.1数据一致性处理
配置表输入，写入SQL语句：SELECT * FROM personnel_information
在这里插入图片描述
配置值映射，使用GENDER字段，将Male和Female分别映射为0,1

配置插入/更新控件

运行结果

5.4.2数据规范化
配置制自定义常量数据控件，添加元数据：ProductionDate,ProductionName,ProductionNumber,CommoditySales

配置计算器控件，计算CommoditySales/ProductionNumber的值并命名为Unitprice
在这里插入图片描述
配置数据检验控件，添加date_verify,name_verify,price_verify检验

运行结果