kettle PDI学习笔记（六）：应用

最新推荐文章于 2025-06-23 18:20:30 发布
原创 最新推荐文章于 2025-06-23 18:20:30 发布 · 212 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #etl

本文介绍了如何在Kettle PDI中处理数据，包括替换源数据中的空值以及如何利用写日志功能进行调试，日志信息能够帮助开发者在调试时查看详细状态。

目录

替换空值

在这里插入图片描述

在这里插入图片描述源数据
在这里插入图片描述
处理后
在这里插入图片描述

写日志

写日志主要在调试的时候使用，把日志信息打印到日志窗口。
在这里插入图片描述

红框可以选择日志级别
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
Kettle（PDI）的坑，有点大
sunlen的专栏(编程技术探讨)
06-05 3471
网络上有不少Kettle的文章，但实际上都大同小异，都是些非常基础的文章，实际上在使用过程中还有遇到不少的坑，这部分在网上资料比较少，这里主要讲一下我们在使用过程中遇到的各种问题，属于难得的实践经验。 说起ETL工具，很多人都觉得这个东西简单，不用学Mysql，不用学大数据的编程，简单的通过图形化的拖拉拽，就能实现对数据的抽取、转换、加载，而实际上往往并非如此，在复杂一点的应用场景上，往往就会出现一些意想不到的坑。 低代码化、无码化的系统架构，现在比较流行。Kettle作为一个大数据的ETL..
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 566
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
PDI(KETTLE)学习笔记
qq_27937101的博客
08-02 4583
PDI（KETTLE）学习笔记简介主要文件组件树介绍转换作业组件生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 一款ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）工具...
大数据技术之 Kettle（PDI）
热门推荐
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
Kettle日志相关源码分析以及总结
西京刀客
07-17 3030
kettle日志基础 public enum LogLevel { NOTHING(0, “Nothing”), ERROR(1, “Error”), MINIMAL(2, “Minimal”), BASIC(3, “Basic”), DETAILED(4, “Detailed”), DEBUG(5, “Debug”), ROWLEVEL(6, “Rowlevel”); Nothing 没有日志 ...
kettle PDI学习笔记（五）：转换
梦回乌托邦
11-09 739
目录Concat fields值映射增加常量增加序列字段选择 Concat fields 从Excel获取FirstName和LastName连接起来，放到Excel 框框这里是两个字段之间的连接符 拼接后 值映射 值映射就是把字段的一个值映射成另一个值，比如数据库经常用0、1代表性别 数据来自网上，并没有性别歧视，如有冒犯请联系我删除。 增加常量 增加常量就是在本身的数据流里添加一列数据，数据相同。 这好像没啥用，肯定是我还没体会到它的应用场景 增加序列 能想到的假场景就是一炮子没有i
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 922
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle PDI学习笔记（八）：查询
梦回乌托邦
11-09 373
目录HTTP client数据库查询数据库连接流查询 HTTP client HTTP client是使用get的方式提交请求，获取返回的页面内容。 用这个接口可以得到一个xml： http://services.odata.org/V3/Northwind/Northwind.svc/Products/ 自定义常量 HTTP client Get data from xml /feed/entry/content/m:properties 结果 数据库查询 就是左连接查询 数据库连
kettle PDI学习笔记（十一）：映射
梦回乌托邦
11-09 645
目录映射 映射 映射用来定义子转换，便于封装和重用 映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换 映射输入规范是输入字段，由调用的转换输入。 映射输出规范是向调用的转换输入所有列，不做任何处理。 例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。 t_orders表 t_users表 ...
【Kettle】Kettle入门解析（五）
Together
04-21 4259
（图片来源于网络，侵删） 都看到这里了，点赞评论一下吧！！！
PDI Kettle 最佳实践
11-18
PDI Kettle 最权威的最佳实践，让你的ETL 开发少走弯路
初识Kettle（二）
东天里的冬天
07-18 1246
通过本篇内容你可以了解到如何快捷下载Kettle以及Kettle各目录文件夹的作用分别是什么
基于kettle实现数据清洗及数据同步
最新发布
qq_21422587的博客
06-23 1112
Kettle 以其可视化界面、丰富的功能和活跃的社区支持，成为最流行的开源ETL工具之一，特别适合复杂的数据清洗和同步需求。
设置kettle的日志输出到指定文件下,carte子服务器设置日志输出位置，log4j配置
Dr_Mnka的博客
12-22 8002
kettle数据处理时获取kettle控制台日志信息，配置如下： kettle工具版存放位置：D:\pdi-ce-6.0.1.0-386new 需要设置D:\pdi-ce-6.0.1.0-386new\data-integration\plugins\kettle5-log4j-plugin目录下的log4j.xml文件，      >在Kettle的程序目录下data-inte...
kettle(PDI)安装使用过程，并部署到Linux下执行定时作业
路的博客
08-12 5451
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、kettle是什么？二、使用步骤1.下载kettle及MySQL依赖2.解压缩下载的pdi压缩包3.创建一个简单的转换4.Linux安装kettle总结 前言 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！ 本文
kettle(pdi)基础认知
Sw_Pro的博客
12-16 1396
kettle
PDI(Kettle) 是什么？PDI(Kettle) 都能做什么？
csdn0214的博客
06-03 1230
PDI(Kettle) 是什么？PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具，是开源 ETL 工具里功能比较强大的一个。 [@more@]PDI 的全称是Pentaho Data I...
Kettle日志输出到文件方法
DataCareer的博客
12-13 1万+
网上有很多关于如何实现Kettle日志输出到日志文件的方法，但需要修改代码，重新编译，比较麻烦。 这里面提供的方法可以解决两个问题：1、把日志输出到文件；2、日志的时间精确到毫秒； 有时Kettle运行的很快，1 秒之内就输出好几条记录，而默认日志的时间只到秒级，这样日志的顺序就是混乱的。用这种方法就可以部分解决，因为控制台的默认日志无法去除掉，需要改代码。在Kettle的程序目录下data-
kettle使用_Kettle（PDI）资源库使用详解
weixin_39559382的博客
11-28 1363
概述PDI客户端(也称为Spoon)提供了几种不同类型的文件存储。Pentaho资源库通过Pentaho服务器在一个中心环境中存储转换、作业和调度。如果您的团队需要一个协作性的ETL(提取、转换和加载)环境，我们建议使用一个或多个Pentaho 资源库。除了存储和管理作业和转换之外，Pentaho资源库还为您提供了完整的修订历史记录，以便您跟踪更改、对比修订记录并在必要时恢复到以前的版本。这些特性...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值