【Kettle】流程控件的使用（switch 过滤记录）

最新推荐文章于 2024-01-27 11:54:28 发布
最新推荐文章于 2024-01-27 11:54:28 发布
阅读量2.5k 收藏 4
点赞数 1
分类专栏： Kettle 文章标签： 流程控件 etl kettle switch 过滤记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41369191/article/details/105938641
版权
  • switch（流程控件）

switch/case组件让数据流从一路到多路。

 

需求：

从 user.json 输入读取数据，按sex进行数据分类， 把女性、男性分别保存不同的Excel文件里 面。 0表示男性 1表示女性

 

拖入一个 JSON输入组件、switch/case流程组件、两个Excel输出组件

 

配置 JSON输入组件

 

配置switch/case流程组件

最低0.47元/天 解锁文章
kettle从入门到精通 第十课 kettle switch/case、过滤记录、数值范围
zhangjin1222的博客
01-27 1883
下图便用到switch/case、过滤记录、数值范围控件。4、数据范围，根据范围进行统计分组，如下是根据grade 统计优秀、良好、不及格的学生，根据输出字段range 可以进行路由步骤。3）条件：可以设置为比较两个字段，如field1=field2，也可以设置比较一个字段和一个常量，如major=计算机。2）发送false数据给步骤：下面条件表达式结果为false时流向的步骤。1）发送true数据给步骤：下面条件表达式结果为true时流向的步骤。2）switch字段：需要判断的字段，从前置步骤中选择。
Kettle中处理不规范文本文件的解决方案
最新发布
qq_44724453的博客
02-20 485
文本文件输入。
Kettle8.2流程组件之过滤记录
若兰幽竹
04-18 6480
Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 过滤记录组件说明： 过滤记录让数据流从一路到两路。 需求说明： 从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。 测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入 流程： 过滤记录 输出：Excel输出、Microsoft Excel输出 三、
笔记-kettle 过滤记录组件
u012969217的博客
03-12 4309
kettle 过滤记录组件 kettle8.0 过滤记录组件分支都执行的解决方案：在当前转换里加入执行作业组件，将分支单独作为一个作业，然后在执行作业选择转换即可。 ...
kettle案例14-过滤记录
勇气与行动
11-01 5248
参考《ETL数据整合与处理》--任务3.4 任务描述：在数据处理时，往往需要对数据所属类别、区域和时间等进行限制，将限制范围外的数据过滤掉。为了统计2班的考试人数和成绩，需要对“2019年10月年级月考数学成绩.xls”文件，使用【过滤记录】组件，过滤掉不是2班的数据。 在【过滤记录】转换工程中，单击【过滤记录】组件，再单击工作区上方的 图标，预览过滤记录后的数据： ...
kettle中的switch_kettle 教程（三）：条件判断 Switch Case
weixin_39793813的博客
12-22 2033
介绍Switch / Case，顾名思义，类似 Java 中的 Switch / Case，用于进行条件判断。是 kettle 中一个非常常用组件。使用起来也非常简单，我们直接来看例子。场景介绍有一个 user 表，表中数据如下：我们需要对 code 字段进行判断，如果不为空，则将数据同步到 user_copy 表(表结构相同)；如果 code 为空，则记录一条错误记录，错误记录表 error_i...
kettle中过滤记录中时间_关于Revit中新建过滤器参数方法
weixin_36324426的博客
12-18 207
在Revit中经常会过滤器，有时候添加过滤器发现里面并没有需要的过滤参数，下面就以梁为例，介绍一下怎么添加过滤器可用的参数。 1、新建一个项目在里面放一根梁，打开“可见性/图形替换”，切换到过滤器窗口，点击添加，并命名为梁的过滤器，需将梁高超过800的梁都过滤掉，但打开过滤条件的时候发现，梁高h并不在过滤条件当中，这时就需要自己添加参数了，如图所示。 2、点击编辑梁族，点击族类型添加一个新参数h...
kettle>Kettle流程控件
qq_44509920的博客
05-03 897
文章目录Kettle流程控件Test17 switchTest18 过滤Kettele连接控件test19 连接控件-笛卡尔积test20 记录集连接 Kettle流程控件 流程主要用来控制数据流程和数据流向 switch/case组件让数据流从一路到多路。 Test17 switch 实现步骤： 1、拖入 JSON输入组件，switch/case组件，三个Excel输出组件 ...
Kettle课程之流程控件.pptx
05-17
总结来说，Kettle的流程控件如Switch-case和过滤记录等，为数据处理提供了丰富的控制手段。通过灵活运用这些控件，我们可以设计出复杂的数据处理流程，满足各种业务需求。理解并熟练掌握这些控件的用法，对于提升...
Kettle转换流程控件深度解析：Switch-case与数据分流
"Kettle课程之流程控件，涵盖了Switch-case、过滤记录、空操作和中止等关键流程控件的使用方法，通过实例演示如何在数据处理中进行数据分类、过滤和异常处理。" 在数据集成工具Pentaho Kettle（也称为 Spoon）中，...
pdi（kettle）中使用switch/case进行数据过滤
爱码士的博客
06-11 516
说明 switch/case不是编程里的分支定义，而是一种数据过滤方式。 需求 一张学生数据，需要使用pdi处理出男生和女生的数据信息 转换 excel输入 点击浏览后，再增加 选择工作表，点击获取工作表 选择字段，点击获取头部字段 添加switch/case控件 按照上面的信息填写 输出 按照上面的填写，女生数据也是如此，只是文件名更新一下。 结果 ...
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
kettle开发-Day40-AI分流之case/switch
热门推荐
qq_29061315的博客
07-13 2万+
人生充满选择，我们也为数据流一个选择的机会吧~
Shell脚本---------------正则表达式与文本处理器------很详细！！
weixin_48191138的博客
08-20 572
文章目录一、正则表达式1.1 基础正则表达式1.1.1 正则表达式概述1.1.2 基础正则表达式元字符1.2 扩展正则表达式二、 文件处理器2.1 sed2.1.1 sed工具概述2.1.2 sed的命令格式2.1.3 sed用法示例2.2 awk2.3 sort2.4 uniq2.5 tr 一、正则表达式 1.1 基础正则表达式 1.1.1 正则表达式概述 ■正则表达式定义 ●正则表达式，又称正规表达式、常规表达式 ●使用字符串来描述、匹配一系列符合某个规则的字符串 ●正则表达式组成 ◆普通字符 大小写
kettle之Switch/Case 插件
qq_26645205的博客
08-08 538
插件运行下一步的表输入中执行hivesql需选上下面红色方框的，否则Switch/Case分支不生效!Switch/Case 插件存在于转换中，用于进行分支选择。
kettle过滤组件_kettle 常用组件
weixin_39623716的博客
12-22 665
Dummy步骤不会做任何事情。它的主要功能是作为以测试为目的的占位符。追加流分析查询(前后行查询)，步骤：增加常量数据包括id,name连个字段，增加自增列autoid字段，按id,outid进行升序排列，使用分析查询，按ID分组获取每行的前后行数据阻止执行直到某步骤执行完分组计算器判断字段是否存在判断表是否存在克隆行(一行数据，增加了序列，克隆两条，变为三条记录，Y表示克隆行)Closure G...
kettle中过滤记录中时间_一图了解ETL工具Kettle中的变量、参数
weixin_39950812的博客
12-21 984
COPY ROWS TO RESULT 在一个Transformation中最好只有一个。如果多个，基本会出错误，不要用GET ROWS TO RESULT。Can not find field [姓名] in the input stream!变通办法是将其合并起来，然后加个标记。1如果字段相同，就上下合并UNION2如果字段不相同，就扩展列进行合并。再到下一个位置通过筛选器FILTER过滤之。...
kettle转换实践（一）-排序记录，记录集连接，过滤记录
kone666
05-26 3044
如果我们清洗的数据是多个维度的，那么很有可能对数据进行关联得到一张最终表进行分析。 比如： 回答集合的数据里有如下字段：id，optionId，user。包含了谁回答了哪个问题，选项是什么。 选项集合的数据里有如下字段：id，question，option。 我们最终希望得到的数据集合是：id，question，option，user。 那么就需要对两个集合进行关联 新建流程如下： ...
kettle从入门到精通 第十二课 kettle java代码过滤记录、利用Janino计算Java表达式
zhangjin1222的博客
01-27 735
3、利用Janino计算Java表达式，主要作用是根据以后字段进行计算，然后返回新增字段或者覆盖原有字段。1、下图通过简单的示例讲解了根据java代码过滤记录和利用Janino计算Java表达式两个组件。3）接收不匹配的行的步骤(可选)：下面条件（java表达式）执行结果为false时流转的步骤。2）接收匹配的行的步骤(可选)：下面条件（java表达式）执行结果为true时流转的步骤。4）条件（java表达式）：java表达式。2、根据java代码过滤记录。1）步骤名称：自定义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值