kettle案例14-过滤记录

最新推荐文章于 2024-05-27 14:22:08 发布
原创 最新推荐文章于 2024-05-27 14:22:08 发布 · 5.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl #kettle

本文介绍如何使用ETL过程中的【过滤记录】组件，针对特定班级的数学成绩数据进行筛选，确保只保留所需班级的数据，以便进一步分析和统计。

参考《ETL数据整合与处理》--任务3.4

任务描述：在数据处理时，往往需要对数据所属类别、区域和时间等进行限制，将限制范围外的数据过滤掉。为了统计2班的考试人数和成绩，需要对“2019年10月年级月考数学成绩.xls”文件，使用【过滤记录】组件，过滤掉不是2班的数据。

 

 在【过滤记录】转换工程中，单击【过滤记录】组件，再单击工作区上方的

图标，预览过滤记录后的数据： 

 

 

 

Kettle8.2流程组件之过滤记录
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
04-18 7155
Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 过滤记录组件说明： 过滤记录让数据流从一路到两路。 需求说明： 从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。 测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入 流程： 过滤记录 输出：Excel输出、Microsoft Excel输出 三、
【Kettle实战】组件讲解（战前磨刀）
weixin_45928161的博客
08-21 769
在组件的基础参数中，【步骤名称】表示 Excel 输出组件名称，在单个转换工程中，名称必须唯一，默认值为“Excel 输出”。移除选项卡下仅有一个参数“字段名称”，此参数可选择输入流中想要移除的字段，或点击【获取移除的字段】获取要删除的字段。排序是对数据中的无序记录，按照自然或客观规律，根据关键字段大小递增或递减的次序，对记录重新排列的过程。【Excel输出】组件参数包含组件的基础参数，以及【文件】【内容】【格式】【字段】4个选项卡参数。参加排序的字段，使用一个【字段】表来设置字段的参数。
kettle 之 过滤记录
stone_tomcate的博客
12-31 3917
选择要过滤的字段 指定true false 步骤输出即可
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
Kettle过滤记录
热门推荐
01-27 1万+
转自：http://blog.youkuaiyun.com/mafan121/article/details/42920411
SpringBoot集成Kettle添加过滤记录
L990616_ss的博客
11-30 3606
过滤记录可用于做增量添加，假设id是自增的，从源表中获取数据插入目标表，如果数据量过大，全表更新导致速度十分慢。这时候可以从源表查询数据，过滤掉id小于目标表最大id的数据，这样可以实现基于id的增量添加。 数据量过大可能导致最开始查询时速度过慢，业务中是把Kettle做成了WEB项目，通过前端来输入查询语句，一般会输入SELECT * FROM tableName，有可能加上WHERE来筛选一下。最好是在原语句中加入比较id大小的条件从而减少查询数据。 但是： ...
kettle从入门到精通 第十课 kettle switch/case、过滤记录、数值范围
zhangjin1222的博客
01-27 2271
下图便用到switch/case、过滤记录、数值范围控件。4、数据范围，根据范围进行统计分组，如下是根据grade 统计优秀、良好、不及格的学生，根据输出字段range 可以进行路由步骤。3）条件：可以设置为比较两个字段，如field1=field2，也可以设置比较一个字段和一个常量，如major=计算机。2）发送false数据给步骤：下面条件表达式结果为false时流向的步骤。1）发送true数据给步骤：下面条件表达式结果为true时流向的步骤。2）switch字段：需要判断的字段，从前置步骤中选择。
kettle案例5.3.1--异常值处理---删除包含异常值的记录
m0_68381568的博客
11-25 803
异常值处理---删除包含异常值的记录
kettle案例12-去除重复记录
m0_53816914的博客
10-30 909
由于输入或其他错误，数据文件中可能出现两条或多条数据完全相同的记录，这些相同的记录称为重复记录。重复记录属于“脏数据”，会造成数据统计和分析不正确，必须清洗掉重复记录。 由于在“期考成绩.xls”文件中，发现存在序号不同，但是学号、各科考试成绩完全相同的记录，所以需要使用【去除重复记录】控件，去除这些重复的数据。 ...
kettle案例5.1.2--数据去重---不完全去重
m0_68381568的博客
11-24 448
数据去重---不完全去重
Kettle通过Java脚本清洗数据的demo
03-29
这个是Kettle一个转换的脚本，可以通过这个demo结合java代码来进行数据清洗。
kettle案例8--综合案例—构建DVD租赁商店数据仓库
m0_68381568的博客
11-25 1245
综合案例—构建DVD租赁商店数据仓库
kettle案例5.3.2--异常值处理---修补异常值
m0_68381568的博客
11-25 650
异常值处理---修补异常值
kettle-过滤记录(类似于if else)
weixin_41668007的博客
06-30 6203
结果 处理前 处理后 不为空 为空
kettle从入门到精通 第十二课 kettle java代码过滤记录、利用Janino计算Java表达式
zhangjin1222的博客
01-27 925
3、利用Janino计算Java表达式，主要作用是根据以后字段进行计算，然后返回新增字段或者覆盖原有字段。1、下图通过简单的示例讲解了根据java代码过滤记录和利用Janino计算Java表达式两个组件。3）接收不匹配的行的步骤(可选)：下面条件（java表达式）执行结果为false时流转的步骤。2）接收匹配的行的步骤(可选)：下面条件（java表达式）执行结果为true时流转的步骤。4）条件（java表达式）：java表达式。2、根据java代码过滤记录。1）步骤名称：自定义。
笔记-kettle 过滤记录组件
u012969217的博客
03-12 4407
kettle 过滤记录组件 kettle8.0 过滤记录组件分支都执行的解决方案：在当前转换里加入执行作业组件，将分支单独作为一个作业，然后在执行作业选择转换即可。 ...
【ETL实战】Kettle学习实践之基本数据转换和过滤
wenchun001的博客
05-24 1280
Kettle学习实践之基本数据转换和过滤
去重复记录和排序——kettle开发09
java程序员的蜕变之路
05-27 937
EXCEL输入：如图所示我们EXCEL表里面一共有7条记录，这里面需要注意的是，我们在去除重复记录的时候，是不是大小写敏感，如果我们大小写敏感的话，那我们如图所示，我们是没有重复记录的，因此我们在去除重复记录的时候要根据需求来选择是否大小写敏感来过滤我们的数据，从而达到我们去除重复的目的。去除重复记录，就是将数据流中的数据进行字段比较，从而去掉重复值的过程。去除重复记录的前提是需要将数据流中的数据进行排序，然后再进行去重操作。去除重复记录的逻辑是，如下图，我们将需要比较的字段作为比较值来比较是否重复。
[Kettle] 记录处理
Hudas的博客
11-14 2144
本文主要介绍了排序记录、去除重复记录、替换NULL值、过滤记录、值映射、字符串替换、字符串操作和分组这8种常用的记录处理组件
kettle案例
最新发布
05-17
### Kettle 使用案例与示例教程 Kettle 是一款功能强大的 ETL 工具，广泛应用于数据提取、转换和加载的任务中。以下是关于如何使用 Kettle 的一些具体案例和示例： #### 1. 数据迁移：从 CSV 文件迁移到 Excel 文件 此场景展示了如何将存储在 CSV 文件中的数据迁移到 Excel 文件中。操作步骤如下： - 新建一个 **Transformation** 脚本文件。 - 添加 **CSV 输入组件** 和 **Excel 输出组件** 并通过 Shift 键拖动鼠标连接这两个组件[^2]。 - 配置 **CSV 输入组件**，选择目标 CSV 文件路径并点击「获取字段」按钮以读取列名[^2]。 - 测试数据流是否正常工作，可以通过点击「预览」按钮查看数据内容。 - 接下来配置 **Excel 输出组件**，设置保存的目标 Excel 文件位置以及表格结构。 #### 2. 数据清洗：去除重复记录 假设有一个包含大量冗余信息的数据库表，需要删除其中所有的重复项，则可以按照以下方式构建 Transformation： - 创建一个新的 Transformation。 - 插入 **Table Input** 组件用于定义 SQL 查询语句来选取原始数据集合[^1]。 - 加入 **Unique Rows (HashSet)** 步骤用来过滤掉任何重复条目[^1]。 - 将清理后的结果写回到另一个新创建或者更新现有表当中去。 #### 3. 复杂业务逻辑处理：基于条件分支的数据分流 当面对复杂的商业需求时，比如根据不同客户群体发送个性化邮件列表，那么就可以利用 Job 来实现这样的流程控制： - 设计多个 Transformations 各自负责一部分特定类型的客户群组加工任务。 - 在主 Job 中串联这些子 Tasks ，并通过判断变量值决定执行哪一条路径上的 transformation[^1]。 ```python # 示例 Python 伪代码展示如何动态调整参数传递给不同的 transformations. for group in customer_groups: kettle_command = f"kitchen.sh /path/to/trans_{group}.ktr" os.system(kettle_command) ``` 以上仅列举了几种常见的应用场景，实际上随着实际项目复杂度增加还可以探索更多高级特性如性能优化技巧等等。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值