【Kettle】Kettle常用组件作用记录集

最新推荐文章于 2025-04-21 09:35:59 发布
最新推荐文章于 2025-04-21 09:35:59 发布
阅读量940 收藏 5
点赞数 2
分类专栏： Kettle 文章标签： Kettle 数据处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xianyun1992/article/details/127057700
版权

文章目录

转换组件

去除重复数据组件

  • 顾名思义，根据获取的字段进行去重；
    在这里插入图片描述

值映射组件

  • 一般在清洗数据转换时有用到，数据A -> 数据B；
    在这里插入图片描述

字段选择组件

  • 一共有三种功能
  1. 修改值
  2. 删除不需要的字段
  3. 字段格式转换，例如：例如格式化时间
    在这里插入图片描述
    格式化时间字段举例
    在这里插入图片描述

增加常量组件

  • 在连接中根据需求添加字段，方便后续操作或者做记录使用；
最低0.47元/天 解锁文章
Kettle入门精选-常用组件
weixin_38097878的博客
05-05 1753
文章目录可视化ETL工具——KettleKettle介绍Kettle入门案例csv - excelJson - excelMySQL - excel生成数据 - excelMySQL - 文本Json - MySQLJson - MySQLMySQL删除数据集成大数据HDFS - excelJson - HDFS集成Hivehive - excelexcel - Hive执行Hive SQL脚本 ...
【Kettle】连接控件（笛卡尔积 记录集连接）
qq_41369191的博客
05-05 1455
需求： 从Excel读取两位和三位数，完成两位数和三位数的组合（笛卡尔积）,把结果保存在Excel 拖入两个Excel输入组件、记录关联连接组件、一个Excel输出组件，并连接各个组件 配置 Excel输入组件 配置记录关联连接组件 配置 Excel输出组件 点击三角形箭头执行 记录集连接 （内连接） 记录集连接...
Kettle组件介绍
migina_2003的博客
03-20 4014
转换里面有个DB连接，新建连接之后共享这个连接。
初识Kettle及常用控件使用
最新发布
局外人LZ的博客
04-21 880
Kettle 是一款功能强大的开源 ETL（Extract-Transform-Load，数据抽取、转换、装载）工具，其全称为 KDE Extraction, Transportation, Transformation and Loading Environment。该工具最初源自 K Desktop Environment（KDE）项目，经过多年发展已成为数据处理领域的重要工具。
kettle组件
老王玩编程
06-17 1412
见名知其意 就是对数据排序用的控件 该控件可以按照指定字段的升序或者降序对数据流进行排序，该组件常常和去除重复记录控件使用 记录集连接控件等此案例仅仅演示排序效果表输入 排序记录 表输出 效果图🍀 概念合并记录适用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并，注意旧数据和新数据需要事先按照关键字字段排序，并且旧数据和新数据要有相同的字段名称。 合并后的数据将包括旧数据来源和新数据来源里的所有数据，对于变化的数据，.
kettle常用其它组件
Knight
03-28 3349
目录一.Kettle转换组件值映射增加序列 一.Kettle转换组件 转换是ETL的T，T就是Transform清洗、转换 ETL三个部分中，T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3 值映射 值映射就是把字段的一个值映射成其他的值 在数据质量规范上使用非常多，比如很多系统对应性别gender字段的定义不同 系统1：1 男、2女 系统2：f 男、m 女 数据仓库统一为：male 男、female女 需求： 从user.json 中读取数据，并把gender列 0 -> 男 1
Kettle的组件学习
11-01
这是个比较详细的Kettle使用文档，可以帮助你快速学习进步。
kettle8.1转换-转换组件介绍文档
08-22
### Kettle 8.1 转换组件详细介绍 #### 1. 值映射组件（ValueMapper） - **功能概述**：值映射组件允许用户定义一系列映射规则，将流中的某个字段的值根据这些规则映射成新的字段值或替换原有字段的值。这种组件...
Kettle 合并记录和Merge Join组件实现数据增量迁移（数据同步比插入更新快
08-12
在本文中，我们将深入探讨“合并记录”和“Merge Join”这两个组件在实现数据增量迁移中的作用，以及为什么它们在数据同步时比传统的插入更新更快。 首先，我们来理解什么是数据增量迁移。在数据仓库或数据库系统中...
kettle常用组件
09-09
Kettle连接控件包括记录集连接组件，用于在数据流中连接不同的数据源，并进行数据的合并和处理。 此外，Kettle还有其他常用组件，如JSON输入组件、Excel输出组件、过滤记录组件等，它们分别用于读取JSON数据、将数据...
kettle组件介绍
01-19
kettle组件介绍
《kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询 》代码
10-29
kettle中使用javascript步骤和fireToDB函数实现自定义数据库查询
Kettle手册(汇总)
什么是江湖?
03-30 1万+
Kettle手册(汇总)
【Kettle实战】组件讲解（战前磨刀）
weixin_45928161的博客
08-21 672
在组件的基础参数中，【步骤名称】表示 Excel 输出组件名称，在单个转换工程中，名称必须唯一，默认值为“Excel 输出”。移除选项卡下仅有一个参数“字段名称”，此参数可选择输入流中想要移除的字段，或点击【获取移除的字段】获取要删除的字段。排序是对数据中的无序记录，按照自然或客观规律，根据关键字段大小递增或递减的次序，对记录重新排列的过程。【Excel输出】组件参数包含组件的基础参数，以及【文件】【内容】【格式】【字段】4个选项卡参数。参加排序的字段，使用一个【字段】表来设置字段的参数。
ETL中kettle组件功能学习（一）
dltan
03-29 1816
kettle连接说明 kettle 有两种方式连接资源库，一种是纯数据库式，所有的转换全部都保存在一个数据库中；另外一种连接方式是使用文本文件，也就是xml 文件，在做完任何转换之后，我们都可以把转换或者Job 变成xml 文件输出。 组件介绍 kettle组件分为转换和作业，而转换和作业中分为输入组件，输出组件，中转组件。 输入： 1、Access Input 2、Cube Input 3、Ex...
kettle各组件说明
热门推荐
sinat_19171485的博客
07-29 1万+
文本文件输入(text input)：读取大量不同的文本文件。大多是通过工具生成的CSV文件。 表输入(table Input)：常用来利用连接和SQL，从数据中读取信息，自动生成基本的SQL语句。 获取系统信息(get system info):这个步骤从 Kettle 环境中获取信息。 生成行（Generate Rows ）：这个步骤输出一定数
Kettle使用配置及常用组件介绍
菜鸟程序员的成长之路
10-13 5697
Kettle使用配置及常用组件介绍
kettle开发-Day38-超好用自定义数据处理组件
qq_29061315的博客
06-21 2487
人生不如意十之八九，靠自己必然能赢。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

素人岳

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值