kettle PDI学习笔记（七）：流程

最新推荐文章于 2022-12-19 23:34:15 发布
最新推荐文章于 2022-12-19 23:34:15 发布
阅读量355 收藏 1
点赞数 1
分类专栏： Kettle 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/this_break/article/details/109576072
版权
本文详细介绍了Kettle PDI中的流程操作，包括switch case根据性别分发数据，过滤记录实现条件判断处理，理解空操作的含义以及如何使用终止步骤进行数据校验并触发错误提醒。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章
BMW互联驾驶功能及其PDI激活同步流程
03-07
宝马售后维修资料，介绍了宝马互联驾驶的详细功能以及如何激活PDI。为业内人士提供指导
PDI设计转换任务
#include
03-29 975
Pentaho Data Integration(PDI),Kettle是PDI以前的名称.在2006年Kettle加入了开源的BI组织Pentaho,正式命名为PDI, 加入Pentaho后Kettle的发展越来越快了，并有越来越多的人开始关注它了.PDI(Kettle)是一款开源的、元数据驱动的ETL (数据的抽取、转换、加载)工具,是开源 ETL 工具里功能比较强大的一个.PDI官网,最新版...
PDI Kettle 最佳实践
11-18
PDI Kettle 最权威的最佳实践，让你的ETL 开发少走弯路
kettle开发篇-空操作-Day21
qq_29061315的博客
12-19 806
前言： 前面我们讲到了switch case组件，通过不同的表达式的值将多个符合条件的值，输出至指定的位置，这就实现了复杂的数据分流操作，kettle其实就是把那些看似复杂的数据流，通过组件包裹起来，然后我们只需关心组件的核心部分即可，今天我们来学习一个有意识的组件叫空操作，这个组件也可以叫做“休息一下”没有任何语法，但是它的使用还是比较巧妙的，接下来让我们一起来看看吧。 一、空操作 空操作...
【一】Kettle零基础从入门到实践（实现kettle循环自增，超详细，一步一步）
coderwickey的博客
05-11 2270
一、主要处理的几个方面问题（可以根据自己需求选择需要用到的内容查看）： 1、Kettle循环的使用； 2、Kettle从MySQL读输入数据控件的使用； 3、Kettle导出Excel控件的使用； 4、时间日期的循环自增； 二、涉及到的Kettle控件： 1、设置变量控件：用于实现设置循环的起始、终止时间； 2、检验字段的值控件：用于判断循环的条件，决定循环是否继续进行，还是退出循环； 3、转换控件：用于业务数据的“转换”操作处理，比如查询数据并导出excel，...
kettle PDI学习笔记（六）：应用
梦回乌托邦
11-09 184
目录替换空值写日志 替换空值 源数据 处理后 写日志 写日志主要在调试的时候使用，把日志信息打印到日志窗口。 红框可以选择日志级别
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 508
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle PDI学习笔记（十一）：映射
梦回乌托邦
11-09 592
目录映射 映射 映射用来定义子转换，便于封装和重用 映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换 映射输入规范是输入字段，由调用的转换输入。 映射输出规范是向调用的转换输入所有列，不做任何处理。 例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。 t_orders表 t_users表 ...
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 865
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle案例-记录集连接
wt_125的博客
11-23 1088
数据清洗
《检查处理kettle数据流中的空行》示例附件代码
09-05
《检查处理kettle数据流中的空行》示例附件代码 ，是学习kettle 的最佳教程示例，可以在blog中看到本教程。
Kettle基本使用（六） —— 连接 & 统计 & 映射 的使用
qq_52421831的博客
10-26 6057
Kettle基本使用之 连接 & 统计 & 映射 的使用
Kettle学习之记录集连接
qq_40096858的博客
03-20 4447
Kattle学习之记录集 在kattle的表输入中，作数据的抽取往往会用到JOIN条件，即LEFT JOIN ,RIGHT JOIN等。在kattle中，记录集组件可以当作JOIN条件使用，特别是当两张表不在同一个数据库中，记录集组件能够使表拼接起来。 ...
Kettle第五章-高级转换
CC的博客
10-21 5266
kettle高级转换，记录集连接，多路数据合并，公式转换。
【ETL工具】Kettle 记录集连接实战
康师傅没有眼泪
02-21 1871
之前文章中 kettle 实战记录这个是 之前的需求 ，使用记录集连接 优化了程序，取消了 阻塞数据的组件，针对批量积压的文件也可以从容应对。 https://blog.youkuaiyun.com/qq_35995514/article/details/106856885 需求：将HDFS文件解析，将最新的设备状态更新到数据库，由于文件是5分钟2个 ，只想拿到最新的设备状态，所以对文件中的字段做 分组排序（文本文件输入2），根据时间拿到每个设备的最新上报时间； 两个文本输入的数据是一样的，文件文件输...
kettle中null值的处理方式
热门推荐
wxc20062006的专栏
12-24 1万+
今天在用kettle对mysql插入空值‘’时，发现对空值的处理在插入mysql时，会自动转转换为null值，在网上找一下，需要在kettle.properties文件中添加如下参数，就不会自动转换了 windows下文件的位置 C:\Users\用户名\.kettle目录中找到kettle.properties文件，增加 KETTLE_EMPTY_STRING_DIFFERS_FROM
7. KETTLE-9.3.0 centos安装部署
QYmufeng的博客
07-19 5207
Linux centos7安装部署KETTLE-9.3.0，整合hive整合mysql+job测试
Kettle中的连接介绍
andyzhaojianhui的专栏
12-08 1万+
一、记录关联(笛卡尔积输出) 两个数据集A和B做笛卡尔积运算，输出结果为合并的结果 使用场景： 1.用于类似java中的for循环，每次for循环内部都需要一个for外部的变量进行运算时，此时的A结果集总数可以为1，B结果集>=1，A（笛卡尔积）B---->C 可以参考同步实时数据的etl从redis中获取实时数据的案例 二、记录集连接 类似数据库中的几种常见连接方式，
数据对接—kettle使用之十五
黄爱岗廊坊师范学院信息技术提高班 第七期
04-27 8422
这一篇我们继续介绍转换插件的使用，Row Normaliser、行转列和字段选择。 Row Normaliser控件 这个步骤转动表，标准化数据格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值