5.3Kettle数据的清洗与检验——修补异常值

已于 2022-10-26 19:54:20 修改
阅读量358 收藏 3
点赞数
文章标签： java 开发语言 etl
于 2022-10-21 17:49:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51063182/article/details/127450028
版权

1.打开kettle工具，创建转换fill_unusual_value，添加如下控件及Hop跳连接线

2.配置“表输入”控件

3.配置“过滤记录”控件

4.配置“设置值为NULL”控件

5.配置“合并记录”控件

6.配置“替换NULL值”控件

7.配置“字段选择”控件

8.运行转换fill_unusual_value

kettle——异常值的删除、替换
m0_60154718的博客
06-09 2224
①点击”浏览”，将转换结果保存到test6_1.xls文件。②分隔符改为“tab”,取消”头部”复选框。①将转换结果保存为test6_2.xls文件。②获取字段，将温度的值设置成整数。可通过“测试”，验证是否连接数据库。根据执行过程看出过滤了一条记录。③获取字段，并修改字段名称。验证 可知137已被过滤。③预览查看数据表信息。
第五章kettle（修补异常值）
m0_69235938的博客
10-06 766
通过Kettle工具，替换和修改数据表interpolation_data中的异常值。
kettle实例-异常值处理-修补异常值
fxxhmn的博客
10-11 2767
1.通过使用Kettle工具，创建一个转换fill_unusual_value，并添加“表输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“设置值为NULL”控件、“合并记录”控件、“替换NULL值”控件、字段选择控件以及Hop跳连接线。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将异常值放在“空操作（什么也不做）”控件中。在“旧数据源：”处的下拉框选择“设置为NULL值”，“新数据源：”处的下拉框选择“空操作（什么也不做）2”；
kettle实例-异常值处理-删除包含异常值的记录
fxxhmn的博客
10-11 1687
在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。
KETTLE 异常处理
anmishi2025的博客
05-09 1269
kettle未能正常执行任务时，同样需要记录下来执行操作，以便分析任务异常。 红色线条代表任务异常时执行的任务，绿色为正常执行的任务序列。 任务执行时都有日志记录，但kettle日志表中字段存在执行时间，但不存在业务日期字段。比如今天的任务执行的是T日期的数据，日志中就无法反应出来此任务执行的何时的任务，由此业务延伸出的任务设置就需要在日志表中增加业务...
5.2Kettle数据的清洗与检验——填充缺失值
weixin_51063182的博客
10-21 852
Kettle数据的清洗与检验——填充缺失值
5.2Kettle数据的清洗与检验——去除缺失值
weixin_51063182的博客
10-21 717
Kettle数据的清洗与检验——去除缺失值
5.1Kettle数据的清洗与检验——完全去重
weixin_51063182的博客
10-26 1524
Kettle数据的清洗与检验——完全去重
kettle案例——数据清洗与校验（删除包含异常值的记录）
weixin_56944252的博客
11-12 510
数据清洗与校验
kettle——数据清洗（数据表——＞转换——＞数据表）
m0_60154718的博客
04-19 1850
准备：表a的结构表a 的数据表b的结构。
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
《在kettle中实现数据验证和检查》示例代码
09-17
《在kettle中实现数据验证和检查》示例代码,学习数据验证和检查的最佳示例。
kettle案例-异常值处理
wt_125的博客
11-26 660
数据清洗
Kettle实例-数据检验-数据规范化处理
fxxhmn的博客
10-11 5552
单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称date_verify用于校验如期，添加后单击【确定】按钮关闭“输入检验的名称”窗口。6.单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称price_verify用于校验产品单价，添加后单击【确定】按钮关闭“输入检验的名称”窗口。5.单击【增加检验】按钮，弹出“输入检验的名称”窗口，在该窗口中添加检验名称name_verify用于校验商品名称，添加后单击【确定】按钮关闭“输入检验的名称”窗口。
5.2去除重复数据 和5.3异常值处理
qq_52469201的博客
11-06 926
通过使用Kettle工具，创建一个转换fill_missing_value，并添加“文本文件输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“替换NULL值”控件、“合并记录”控件、“字段选择”控件以及Hop跳连接线。1、通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。其实感觉并不需要去过滤记录可以直接替换啊很奇怪。
5.4.2 数据规范化处理
qq_56616859的博客
11-12 330
由于数据源系统分散在各个业务线上，不同业务线对于数据的要求、理解和规范也不同，这样就会导致对于同一数据对象的描述规格完全不同，因此在数据清洗的过程中需要将统一数据规范的数据抽取出来进行规范处理。
数据预处理之文件转换kettle：数据质量统计
weixin_45116412的博客
10-30 801
【实验目的】 利用Kettle的“分组”，“JavaScript代码”，“字段选择”组件，实现数据质量统计。 【实验原理】 过“JavaScript代码”对表格的记录进行质量分类，然后通过“字段选择”生成带质量标志位字段的数据，再通过“分组”统计数据的质量问题。 【实验步骤】 一、创建转换 1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径。 2．我们在新建的转换文件上开始可视化编程。需要的组件如下图所示。选择好组件好，按下图所示连接好
第五章：数据清洗与校验
qq_51477731的博客
10-09 756
ETL:数据清洗与校验
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值