Kettle Switch/case、记录集连接、过滤记录、空操作

最新推荐文章于 2024-05-04 06:26:40 发布
最新推荐文章于 2024-05-04 06:26:40 发布
阅读量2k 收藏 2
点赞数
分类专栏： 大数据 文章标签： Kettle Switch/case 记录集连接 过滤记录 空操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/109091489
版权
大数据 专栏收录该内容
551 篇文章 ¥49.90 ¥99.00
订阅专栏
本文介绍了Kettle中的Switch/case模块的使用，展示了一个Excel数据处理示例。接着讲解了记录集连接，类似于数据库的连接操作，并强调连接前需对记录集排序。还讨论了过滤记录的技巧以及空操作在数据流中的作用，通过实例展示了如何根据条件过滤并更新数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
Kettle（10）：switch/case组件
u013938578的博客
01-27 1893
switch/case提供了一种条件判断的实现。
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
Kettle过滤记录
01-27 1万+
转自：http://blog.youkuaiyun.com/mafan121/article/details/42920411
kettle开发-Day40-AI分流之case/switch
热门推荐
qq_29061315的博客
07-13 2万+
人生充满选择，我们也为数据流一个选择的机会吧~
kettle案例六数据表关联--排序记录-记录集连接-过滤记录
直到世界的尽头
01-03 2万+
如果我们清洗的数据是多个维度的，那么很有可能对数据进行关联得到一张最终表进行分析。 比如 回答集合的数据里有如下字段 id optionId user 包含了 谁 回答了哪个问题，选项是什么。 选项集合的数据里有如下字段 id question option 我们最终希望得到的数据集合是 id question option user 那么就需要对两个集合进行关联 新建...
kettle转换实践（一）-排序记录，记录集连接，过滤记录
kone666
05-26 3073
如果我们清洗的数据是多个维度的，那么很有可能对数据进行关联得到一张最终表进行分析。 比如： 回答集合的数据里有如下字段：id，optionId，user。包含了谁回答了哪个问题，选项是什么。 选项集合的数据里有如下字段：id，question，option。 我们最终希望得到的数据集合是：id，question，option，user。 那么就需要对两个集合进行关联 新建流程如下： ...
Kettle8.2流程组件之Switch Case
若兰幽竹
04-18 1616
Kettle8.2流程组件之Switch case一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 流程组件说明： 流程是转换里面的第六个分类。流程主要用来控制数据流程和数据流向。 Switch case组件说明： Switch/case让数据流从一路到多路。 需求说明： 从数据库中的sys_user表读取数据，按照部门号将数据保存到不同文件中。 测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入
【Kettle】Kettle常用组件作用记录集
我还可以
10-24 940
Kettle日常组件使用合集，持续更新中
大数据最全大数据ETL开发之图解Kettle工具（入门到精通）(3)
2401_84181975的博客
05-04 293
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
kettle控件的作用
weixin_37849508的博客
12-13 842
kettle控件汇总： 一、文件输入： csv。 文本文件。 excel 多文件合并 getdatefromxml jsoninput 生成数据（生成相同的静态数据，如相同三百条的2列数据。） 表输入（即连接数据库输入）。 自定义常量数据：用来生成一些不变的数据。 二、文件输出： excel输出 文本文件输出 表输出（即连接数据库输出） 更新（只更新已有的字段内容） 插入更新（如果目标表中有数据，即更新，如无，则插入。） 删除。 三、转换： concat fields：将多个字段连接形成一个新的
KETTLE 节点使用说明
09-30
#### 二十二、开关/案例（Switch/Case） 根据字段的值执行不同的操作。这是一种非常灵活的方式来实现条件判断。 #### 二十三、文件存在性检查（File Exists） 检查文件是否存在，这对于处理依赖于文件存在的流程...
kettle switch / case 控件实现分类处理
weixin_41160534的博客
07-03 3562
在做数据清洗的时候，经常要根据一个或几个字段的内容进行某一字段值的判断。 往常针对多个字段我都是通过 java脚本 完成。但是~~~ java脚本经常会出现各种奇奇怪怪的问题，比如ecplise运行没问题，java脚本就出现错误。 蛋疼.jpg 所以哪怕麻烦点也想换个一次成功的，这时候switch / case 组件搭配 将字段值设置为常量 组件发挥了作用。 二者分别位于流程（sw...
kettle 之 过滤记录
stone_tomcate的博客
12-31 3792
选择要过滤的字段 指定true false 步骤输出即可
kettle开发篇-switch case-Day20
qq_29061315的博客
12-18 682
前言: 前面我们学习了一系列的字符串的操作，然后最近两天学习了应用方面的操作，今天我们来学习的新的一个方面，流程-switch case来控制数据流程和数据的流向。本次类型相对会比较复杂一些，但是我们有了前面的学习基础，这个学起来也会比较轻松的，好的，下面我们来看下，switch case 是怎么来控制数据流的。 一、switch case 流程是转换里面的第六个分类，流程主要是用来控制数据...
笔记-kettle 过滤记录组件
u012969217的博客
03-12 4329
kettle 过滤记录组件 kettle8.0 过滤记录组件分支都执行的解决方案：在当前转换里加入执行作业组件，将分支单独作为一个作业，然后在执行作业选择转换即可。 ...
Kettle的使用（七）：Switch/case组件，MySQL(一表) =＞ Excel(多表)
何止是执迷不悟
12-22 1557
需求： 从数据库的user表中读取所有用户数据，性别为男的用户导出到一个Excel，性别为女的用户导出到一个Excel，其他导出到一个Excel 具体步骤： 1.建立转换 根据需求进行输出（Create a new target case for this step） 2.设置输入 各步骤的作用在之前的博客有详细说明 3. 设置中间组件 4.设置输出：男女其他三个表的设置几乎一样，以男为例演示 每步的作用可见之前的博客 5.保存运行 看似转换成功，其他这张表...
Kettle实例-缺失值处理-去除缺失值
fxxhmn的博客
10-11 3846
在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；1.通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。7.选择和修改”选项卡的“字段”处手动添加文本文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加文本文件输入控件输出的所有数据字段。
Kettle8.2流程组件之过滤记录
若兰幽竹
04-18 6606
Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 过滤记录组件说明： 过滤记录让数据流从一路到两路。 需求说明： 从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。 测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入 流程： 过滤记录 输出：Excel输出、Microsoft Excel输出 三、
kettle中Switch/Case条件判断的使用
chenliyu0518的博客
11-14 1万+
今天在做取数过程中遇到了一个问题，就是增量取数，增量取数大部分用到的是根据时间段来抽取数据，然后插入到目标库，事实中kettle中有个一次提交多少条记录的问题，今天暂时不讨论这个，主要来说说如何根据中间时间表（主要记录上次取数的开始时间和结束时间），然后去设置取数的时间段。 下面来看一下遇到的问题： 我们是定时取数，本次取数的时间要去中间表查看上次取数状态，有二种情况： （1）上次取数成功：...
kettle switch/case
最新发布
03-13
<think>好的，我需要回答用户关于在Kettle中实现switch/case逻辑的问题。首先，我应该回顾一下用户提供的引用内容，尤其是引用[1]和引用[2]，这两个部分直接提到了Kettle中的Switch/Case组件以及类似编程中的default标号用法。 根据引用[1]，Kettle的Switch/Case组件用于条件判断，类似于Java中的switch语句。这意味着用户可以通过这个组件来根据不同的条件值执行不同的路径。接下来，引用[2]中提到的default标号，在Kettle中应该对应没有匹配条件时的默认处理路径。用户可能需要知道如何设置这些条件分支。 接下来，我需要组织回答的结构。首先，介绍Switch/Case组件的基本功能，然后分步骤说明如何配置，包括添加组件、设置条件字段、定义case条件和默认分支。同时，需要强调每个步骤的注意事项，比如条件顺序和数据类型匹配的问题，这可能影响执行结果是否正确。 此外，用户可能想知道实际应用中的例子，比如根据不同的产品类型执行不同的处理流程。这时候举一个具体的例子会帮助用户更好地理解。例如，当字段值为“Book”时执行路径A，值为“Electronics”时执行路径B，其他情况则走默认路径。 还要注意引用中的示例代码，虽然在Kettle中不是用Python，但逻辑是相通的。可能需要提醒用户条件设置的顺序，避免因为顺序问题导致错误匹配。同时，数据类型的一致性也很重要，比如字符串需要加引号，数字则不需要。 最后，根据用户的要求生成相关问题，这些问题应该围绕Switch/Case的进阶使用、性能优化、错误处理以及与其他组件的结合应用，帮助用户进一步深入学习。</think>在Kettle中实现switch/case逻辑主要通过**「Switch / Case」**组件完成，该组件允许根据字段值将数据流导向不同的分支路径。具体操作步骤如下： --- ### **一、实现步骤** 1. **添加组件** - 在转换中拖入`Switch / Case`组件（位于「流程」分类） - 将前驱步骤（如「表输入」）连接到该组件 2. **配置条件字段** ```plaintext - 指定要判断的字段名称，如`product_type` - 设置比较方式：直接值匹配或正则表达式匹配[^1] ``` 3. **定义Case条件** ```plaintext - 点击"Case值"列添加条件，例如： CASE值 → 目标步骤 "Book" → 书籍处理步骤 "Electronics" → 电子产品处理步骤 ``` 4. **设置默认分支** - 勾选`使用默认目标`并指定未匹配时的处理步骤，类似编程中的`default`分支[^2] --- ### **二、配置示例** 假设需要根据`status_code`字段分发数据： ```plaintext Switch字段: status_code Case值配置: 1 → 成功处理 2 → 失败处理 3 → 待审核处理 默认目标 → 异常状态记录 ``` --- ### **三、注意事项** 1. **条件优先级** - 按配置顺序从上到下匹配，**首个匹配条件生效**，类似编程中不加`break`的穿透现象 2. **数据类型匹配** - 字符串值需加引号（如`"A001"`），数值直接填写 3. **性能优化** - 高频出现的条件应配置在顶部 - 可结合`过滤记录`组件处理复杂逻辑[^3] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值