【Kettle】逻辑转化组件使用（值映射 增加序列 字段选择）

数据转换精要
最新推荐文章于 2024-05-27 10:55:19 发布
原创 最新推荐文章于 2024-05-27 10:55:19 发布 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#逻辑转化 #值映射 #增加序列 #字段选择 #kettle

本文介绍如何使用值映射、增加序列及字段选择等技术对JSON数据进行转换，包括性别字段的映射、自增序列的添加及字段的重命名与删除，以实现数据质量提升。
  • 值映射

值映射就是把字段的一个值映射成其他的值 在数据质量规范上使用非常多

 

需求

把json中的gender中的数据进行改变。0变为男，1变为女，2变为保密

 

拖入一个 JSON输入组件、一个值映射转换组件、一个Excel输出组件，连接三个组件

 

配置 JSON输入组件

 

配置值映射转换组件

 

配置Excel输出组件

 

点击三角形箭头执行

 

  • 增加序列（增加一个自增的字段）

从json文件读取数据，添加序列，把数据保存到Excel

 

需求

添加一个自增的字段rowid

 

拖入一个 JSON输入组件、一个增加序列转换组件、一个Excel输出组件，连接三个组件

 

配置JSON输入组件

 

配置增加序列转换组件

 

配置Excel输出组件

 

点击三角形箭头执行

 

  • 字段选择 （改变字段）

字段选择是从数据流中选择字段、改变名称、修改数据类型

从json文件读取数据，字段选择，把数据保存到Excel

 

需求

给一些字段改名并移除一些字段

 

拖入一个 JSON输入组件、一个字段选择转换组件、一个Excel输出组件，连接三个组件

 

配置 JSON输入组件

 

配置字段选择转换组件

 

配置Excel输出组件

 

点击三角形箭头执行

ETL工具-KETTLE教程 实例实战4----转换（值映射、列转行，增加常量、增加序列等）
weixin_44846436的博客
12-27 2622
接着上一讲，讲完了常用的输入、输出控件后，这一节我们来讲下常用的转换控件，如下图： 3、转换 3.1 值映射：将一个数据流的内容，转换成另外的数据流，并输出。作用如同sql语句中的decode函数。 此处用到三个控件，表输入、表输出（可以参考前面的内容）和值映射。三个控件用hop线进行连接。 双击值映射，如上图所示配置好相应的源值和目标值，通过连线从A表连接到B表。运行结果如下： 3.2 列...
Kettle8.2转换组件之增加序列
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
04-06 1759
Kettle8.2转换组件之增加序列一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 需求说明： 从Excel读取数据，增加一个新列id值从1开始递增，把数据保存在Excel中。 增加序列组件说明： 增加序列是给数据流添加一个序列字段，即就是在本身的数据流里面添加一列数据， 实验要求： 从Excel读取数据，增加一个新列id值从1开始递增，把数据保存在Excel中。 二、设计转换 输入：Excel输入 转换： 增加序列 输出：Microsoft Excel输出 三、转
Kettle8.2转换组件之字段选择
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
04-06 4924
Kettle8.2转换组件之字段选择一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析 一、相关说明 需求说明： 从mysql数据库表中读取数据，由于原表中的字段不符合实际的字段，因此需要将数据库表中读取的数据字段进行更改成为目标字段，并把数据保存在Excel中。 字段选择组件说明： 字段选择是从数据流中选择字段、改变名称、修改数据类型。 实验要求： 从MySQL读取数据，修改其中几个字段（即将id改成目标字段key,将sex改成目标字段gender，将mobile改成目标字段telphone
kettle学习之字段选择组件
信徒博客
05-27 433
这个组件就是对字段进行改名或者删除等操作的。
Kettle 通俗易懂增加序列
程志伟的博客
07-12 3548
关注微信公共号：小程在线 关注优快云博客：程志伟的博客 只对核心部分进行详细描述 一、总体流程 二、Excel输入 excel的输入和前面介绍的一样，这里不在进行描述 三、增加序列 1.值的名称：自己随便取 2.我们选择使用转换计数器来生成序列 3.起始值为1 4.增长根据，自己选择 5.最大值选择默认 四、Excel输出 excel的输出还要以前的步骤 五、启动 六、查看结果 新增加一个num列，数字是1,3,5,7,9...
kettle常见控件（输入、输出，字段选择、设置变量、记录集连接、值映射、字符串替换、js、Java）的使用案例
07-18
包括数据库迁移，增量抽取，多表合成一张表，一个字段拆分成多字段，数据正则过滤、kitchen部署调优等案例，内含相应数据库的SQL脚本、kjb、ktr文件，以及使用过程中会经常遇到的bug注意事项
kettle从入门到精通 第七课 kettle 字段选择
zhangjin1222的博客
01-27 2399
设置为“是”时，将解析数字，直到找到一个非数字值，如破折号或斜杠，解析然后停止，不报告错误。设置为“否”时，解析器会尝试把错误日期纠正为正确的日期。4）修改字段元数据类型，比如某个字段类型是string，值是纯数字，可以修改数据类型为number等。1）选择字段，若输入有m个字段，可以从m个字段中选择n个字段，0=
使用kettle将工资字段的值增加 10%
最新发布
08-02
我们被要求使用Kettle对工资字段进行数值增加10%的操作。具体来说，就是更新表中的工资字段，使其值变为原来的110%。 在Kettle中，我们可以通过“增加常量”或“计算器”步骤来实现数值的运算。但注意，更新操作...
kettle8.1转换-转换组件介绍文档
08-22
- **功能概述**：值映射组件允许用户定义一系列映射规则，将流中的某个字段的值根据这些规则映射成新的字段值或替换原有字段的值。这种组件特别适用于字段值的标准化处理，比如将不统一的数据表示转换成一种统一的...
Kettle转换控件详解：Concatfields、值映射与增加常量
在"06 转换控件.pptx"的PPT中，主要讨论了Kettle（也称为Pentaho Data Integration，简称KDI）中的转换组件，这些组件是ETL（Extract, Transform, Load）过程中的关键部分，特别是处理数据清洗和转换的环节。...
KETTLE实现循环批量多表抽取添加字段
03-11
KETTLE实现循环批量更新表添加字段,将kettle资源库抽取到另一个数据库中并输出抽取表单,(本文用的是MySQL)
Kettle的组件学习
11-01
- **定义**: 将字段中的值映射到其他值。 - **应用场景**: - 替换特定字段中的值以实现标准化。 #### 4.11 Number Range - **定义**: 用于创建数字范围。 - **应用场景**: - 分类数值数据为不同的区间。 ### 5. ...
Kettle（八）：转换控件(Concat fields、值映射、增加常量、增加序列、字段选择)、流程控件（Switch / case、过滤字段）、连接控件（记录关联（笛卡尔输出）、记录集连接）
MengCXJ的博客
03-11 3966
本文介绍转换控件(Concat fields、值映射、增加常量、增加序列、字段选择)、流程控件（Switch / case、过滤字段）、连接控件（记录关联（笛卡尔输出）、记录集连接）
kettle-字段选择(删除字段，修改字段名，修改数据类型)
热门推荐
weixin_41668007的博客
06-26 1万+
字段选择控件设置-改名 字段选择控件设置-删除字段 字段选择控件设置-修改名称和类型 结果 修改前 修改后
Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作
zhengzaifeidelushang的博客
10-14 6485
一.kettle字段选择 字段选择是选择想要的字段 字段选择设置 源数据 字段选择后数据如下 二、剪切字符串、字符串替换、Concat fields、字符串操作 剪切字符串是指定输入流字段裁剪的位置剪切出新的字段。 字符串替换是指定搜索内容和替换内容，如果输入流的字段匹配上搜索内容就进行替换生成新字段。 Concat fields就是多个字段连接起来形成一个新的字段。 字符串操作是去除字符串两端的空格和大小写切换，并生成新的字段。 源数据 剪切字符串设置 字符串替换设置 Concat fie
[Kettle] 字段处理
Hudas的博客
11-18 4339
本文主要介绍了增加常量、将字符串设置为常量、剪切字符串、拆分字段、数值范围、计算器、增加序列和字段选择这8种常用的字段处理方法
Kettle:生成记录和增加序列
读万卷书 行万里路
08-18 7406
1.生成记录
Kettle的“增加序列”(自增字段)的使用
AnameJL的博客
03-25 9126
  增加序列”就是在流字段中加一个字段，简单的说就是可以把这个字段当成标记行号的一个字段或者字段值自增的字段，会根据具体设定的值来决定起始值和增长值，这里介绍如何使用“增加序列”。 1.核心对象->转换->增加序列，将此模块拖拽到转换中，如下图所示 2.配置参数，设置字段的起始值和增长值，这里设置的起始值为1，增长至为2，如下图所示 3.结果数据如下图所示 使用起来还是比较简单的，通过结果数据可以很好的观测效果，我个人平时对于“增加序列”使用较少，但是这里还是介绍一下，希望对有需要的朋友能
kettle案例15-值映射
勇气与行动
11-01 610
任务描述： 在数据处理系统中，为了加快处理速度、减少内存和存储空间消耗，往往使用数字、字母或它们的组合表示真实的数据含义，例如，用“1”和“0”分别表示性别，难以直接看懂。在某校学生的“学籍信息.xls”文件中，性别字段数据分别用“1”或“0”表示。为了更加直观、一目了然地读懂学生的学籍信息，需要使用【值映射】组件，还原其对应的值“男”或“女”。 尤其注意字段的设置： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值