kettle PDI学习笔记（八）：查询

最新推荐文章于 2024-08-23 08:39:15 发布
最新推荐文章于 2024-08-23 08:39:15 发布
阅读量324 收藏
点赞数
分类专栏： Kettle 文章标签： 大数据 etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/this_break/article/details/109576660
版权
这篇博客介绍了Kettle PDI中关于HTTP客户端的使用，通过GET方式获取XML数据，并展示了如何解析XML内容。同时，讲解了数据库查询，特别是左连接查询的应用，以及数据库连接控件如何连接不同数据库（如MySQL与Oracle），实现数据整合。最后提到了流查询在处理Excel输入时的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

HTTP client

HTTP client是使用get的方式提交请求，获取返回的页面内容。
用这个接口可以得到一个xml：
http://services.odata.org/V3/Northwind/Northwind.svc/Products/
在这里插入图片描述自定义常量
在这里插入图片描述
在这里插入图片描述
HTTP client
在这里插入图片描述
Get data from xml
在这里插入图片描述
/feed/entry/content/m:properties

最低0.47元/天 解锁文章
Kettle(PDI)-一款ETL工具的使用教程（1）
爱码士的博客
06-03 885
什么是ETL ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 什么是Kettle(PDI) Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettl
kettle PDI学习笔记（六）：应用
梦回乌托邦
11-09 184
目录替换空值写日志 替换空值 源数据 处理后 写日志 写日志主要在调试的时候使用，把日志信息打印到日志窗口。 红框可以选择日志级别
大数据技术之 Kettle（PDI）
热门推荐
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
PDI(Kettle) 是什么？PDI(Kettle) 都能做什么？
csdn0214的博客
06-03 1188
PDI(Kettle) 是什么？PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具，是开源 ETL 工具里功能比较强大的一个。 [@more@]PDI 的全称是Pentaho Data I...
kettle pdi-ce-9.0.0.0-423（百度网盘地址含取件码）2020年2月官方9.0最新版
03-23
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
Kettle PDI小白新手/进阶/必备 大数据基础之一数据清洗(ETL）基础进阶总结 1.6万字长文 附带大数据流处理和批处理的定义，Spark，Flink和Storm优缺点和适用场景 混合处理模式
李文昊的博客
08-17 3772
与大数据平台集成是kettle的一个重要应用场景 这篇是针对向高级数据清洗工程师进阶的一种指路教程 数据基础必备技能之一数据清洗 （ETL） 数据清洗和质量控制是数据处理过程中的关键环节，Kettle 是一个开源的数据集成工具，主要用于 ETL（抽取、转换、加载）过程。它的名字PDI，而 Kettle 是其早期的名字Kettle PDI小白新手/进阶/必备 大数据清洗(ETL）基础进阶总结 将近1.7万字长文 附带大数据流处理和批处理的定义，Spark，Flink和Storm优缺点和适用场景 混合处理模式
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 508
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle PDI学习笔记（十一）：映射
梦回乌托邦
11-09 592
目录映射 映射 映射用来定义子转换，便于封装和重用 映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换 映射输入规范是输入字段，由调用的转换输入。 映射输出规范是向调用的转换输入所有列，不做任何处理。 例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。 t_orders表 t_users表 ...
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 865
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle PDI学习笔记（二）：kettle快速上手
梦回乌托邦
11-06 323
目录kettle的快速体验 kettle的快速体验 读取csv文件，写入到xls文件，这么个操作，读取的过程叫抽取（或者理解为输入），写入的过程叫加载（或者理解为输出） 我这里找了一个cvs文件，改了一下凑活用 回到软件，新建一个转换并保存 点到核心对象，把csv文件输入拖到工作台 双击打开工作台的那个控件，选择准备好的csv文件，可以根据红框框点一点看一看效果，差不多了就确定。 在输出里找到Excel输出并拖过去，在工作台点下“csv文件输入”按下shift，再点到“Excel输出”，选择“主输出
利用PDI(Kettle)构造数据
08-09
NULL 博文链接：https://lihongtai.iteye.com/blog/2173599
PDI Kettle 最佳实践
11-18
PDI Kettle 最权威的最佳实践，让你的ETL 开发少走弯路
pdi-ce-8.2（kettle 8.2）安装软体
12-27
Kettle是目前最流行的开源ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
ETL免费工具kettle(PDI)，安装和配置
hhujjj2005的博客
05-06 1049
起源：Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 [1]；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分，Kettle亦重命名为[1-2]。
05-PDI(Kettle)脚本执行
IT从业者的成长历程
11-19 1078
本文主要介绍PDI(Kettle)的Pan和Kitchen命令，并封装成脚本执行，并提供了相关参考连接
PDI和Kettle什么关系
最新发布
大连赵哥的博客
08-23 399
PDI和Kettle什么关系
01-PDI(Kettle)简介与安装
IT从业者的成长历程
11-09 2000
本文主要为PDI(Kettle)简介与安装，包括 PDI(Kettle)简介， Kettle下载与安装 ，Kettle核心知识点等。
kettle(PDI)安装使用过程，并部署到Linux下执行定时作业
路的博客
08-12 4801
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、kettle是什么？二、使用步骤1.下载kettle及MySQL依赖2.解压缩下载的pdi压缩包3.创建一个简单的转换4.Linux安装kettle总结 前言 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！ 本文
kettle pdi8.2 连接mysql8
经验之谈，不做搬运工
07-29 1594
mysql-connector-java-5.1.41-bin.jar 只支持到5.1的，mysql8的连接只能在pdi8/simple-jndi/jdbc.properties文件中增加如下代码： MYSQL8_DB/type=javax.sql.DataSource MYSQL8_DB/driver=com.mysql.cj.jdbc.Driver MYSQL8_DB/url=jdbc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值