KETTLE-作业-通用组件

最新推荐文章于 2025-05-27 14:23:53 发布
原创 最新推荐文章于 2025-05-27 14:23:53 发布 · 置顶 · 1.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#KETTLE

KETTLE-作业-通用组件

通用组件

START

作业执行的开头，只能存在一个，且只对主作业有效，子作业是无效的
支持定时，一直循环、每天、每周、每月

START

  • 试过一秒钟定时，造成kettle内存溢出，资源回收跟不上循环执行的速度，所以推荐使用系统的任务调度(内存得以释放)

DUMMY

空操作
DUMMY

Job

引用作业

Job

Transformation

引用转换

Transformation

Set variables

Set variables

  • 设置变量，支持从属性文件读取，支持指定变量的声明周期
  • Name of properties file为读取属性文件
  • Variable scope 为属性文件的变量的声明周期
  • Variable scope typ为自定义变量的声明周期
  • 生命周期分： Valid in the virtual machine、 Valid in the current job、 Valid in the parent job、 Valid in the root job，分别对应JVM、当前作业、父作业、根作业。实际操作中发现：当前作业和根作业的效果是一样的，效果是当前作业及包含的作业(子子孙孙)和转换(子子孙孙)，都能得到变量值

Success

象征性的结束组件，貌似没多大作用，wiki文档是这样描述的：这个组件清除作业中遇到的任何错误状态并强制该作业进入成功状态，但在实际操作中没呈现出来

Success

资料

Kettle--转换，作业案例（数据清洗笔记）
qq_48955728的博客
09-15 698
转换： 双击Kettle目录下的Spoon.bat脚本，启动Kettle工具，在工具栏处选择“文件”>>“新建”>>“转换”，创建一个转换，如图1。 图1 对转换进行重命名，选择“文件”>>“保存”，如图2。 图2 在Kettle主界面的空白工作区右击，选择“新建注释”命令，并添加注释的内容；然后单击“输入，将“表输出”拖曳到工作区；单击“输出”，将“文本文件输出”拖曳到工作区；将这两个步骤用跳链接，具体如图3所示。 图3 作业： 打...
【Kettle 入门 Windows10 CentOS7】Kettle-8.2.0 入门基础 2019.10.31
在微风中飘落的博客
10-31 1686
Pentaho·Data Integration - Kettle； 简介，软件背景，特点，相关资源，Kettle构架，客户端，服务器； 核心概念：Transformation，Job变量； Kitchen命令行选项； WindowsLinux集群部署； 实际案例；
kettle8.1作业-脚本组件介绍文档
01-04
本文档是基于kettle8.1版本，对作业部分的脚本组件介绍。
【Kettle从零开始】第七弹之Kettle作业中常用组件介绍
热门推荐
RotKang
03-11 1万+
Kettle版本：3.2GA JDK版本：1.6.0_41 OS：NT
Kettle命令行操作实战：从作业到转换的完整流程
weixin_42561464的博客
05-27 509
Kettle，即Pentaho Data Integration (PDI)，是一个开源的ETL(Extract, Transform, Load)工具，它允许用户方便地从不同的数据源中提取数据，经过处理转换后加载到目标系统中。PDI设计易于使用，并提供了一个图形化界面，使得非编程人员也能构建复杂的数据转换和处理流程。Kettle的图形化界面非常直观，其主要组件包括以下几个：转换设计界面：用于设计和构建数据转换逻辑。作业设计界面：用于创建和管理ETL作业，可以包含多个步骤和控制流。
Kettle使用配置及常用组件介绍
菜鸟程序员的成长之路
10-13 5764
Kettle使用配置及常用组件介绍
ETL工具KETTLE作业设计环境windows与运行环境linux协同问题
LSY_优快云_的博客
12-22 1074
目录 一、如何在Linux上登录kettle的文件资源库或数据库资源库： 二、Window中kettle的文件资源库如何在linux中执行： 三、Window中kettle的数据库资源库如何在linux中执行： 一、如何在Linux上登录kettle的文件资源库或数据库资源库： 说明：在window中可以通过可视化界面来登录kettle的资源库，在linux中没有可视化界面，win...
Kettle基本使用（七） —— 脚本 & 作业 & 参数 的使用
qq_52421831的博客
10-26 1万+
Kettle基本使用之 脚本 & 作业 & 参数 的使用
kettle 相关jar包
08-07
在开发或部署Kettle作业和转换时，可能还需要根据实际需求添加或调整jar包，例如，如果你的工作涉及到特定的数据源，可能需要添加对应的数据库驱动。 Kettle的强大之处在于它的灵活性和可扩展性。通过图形化的工作...
kettle-pdf用户手册
01-03
Spoon是Kettle的主要图形界面工具，用于设计和调试转换和作业。通过运行Spoon，用户可以在可视化环境中创建复杂的ETL流程。 **1.4 资源库** 资源库是Kettle中的一个重要概念，用于存储转换和作业等资源。通过资源...
ETL工具kettle的jar汇总.rar（亲测有效）
05-15
3. **数据转换和作业组件**：如`kettle-ui-swt.jar`，提供图形化用户界面，使得用户可以创建和编辑转换和作业。 4. **插件库**：Kettle支持大量的第三方插件，每个插件可能有自己的JAR文件，比如`pentaho-kettle-...
Kettle循环遍历结果集作为参数传入转换
11-19
Kettle8.2做的，Kettle循环获取转换中的结果集传递到下一个转换中，并最终输出到txt文档
KETTLE
夏光芒的博客
12-25 5657
文章目录impala1.impala架构2.Impala Shell 命令3.impala 操作数据库 impala 1.impala架构 Impala是在Hadoop集群中的许多系统上运行的MPP（大规模并行处理）查询执行引擎。 与传统存储系统不同，impala与其存储引擎解耦。 它有三个主要组件，即Impala daemon（Impalad），Impala Statestore和Impala元...
kettle学习笔记08—设置变量
清平乐的技术专栏
08-17 2952
1.变量的类型 Kettle 的早期版本中的变量只有系统环境变量，新版本变量一般包括系统环境变量, “Kettle变量” 和内部变量三种系统环境变量的影响范围很广,凡是在一个 JVM下运行的线程都受其影响. Kettle变量限制了变量的作用范围, 变量范围包括三种分别是 grand-parent job, parent job, root job 内部变量是 kettle 内置的一些变量,...
使用Kettle循环处理数据（方式一）
x²＋(y－√³x²)²＝1的博客
12-10 4062
1、loop1_step1转换流程： 详细配置如下： （1）“从结果获取记录”组件 “字段名称”需要手动填写 （2）“设置变量”组件： 只有在点击“获取字段”时，变量名才会是大写的 2、loop1_step2转换流程： 详细配置如下： （1）“表输入”组件： （2）“表输出”组件 3、loop1_job1作业流程： 详细配置如下： （1）“转换”1组件： （2）“转换”2组件： 4、loop1_step3转换流程： 详细配置如下： （1）“Excel输入”组件： （2）“复制记录到结果”
Kettle实战100篇 第25篇 作业核心对象设置变量组件
八一菜刀的专栏
10-06 1951
我们在很多场景下都需要用到设置变量组件,比如在分页查询数据时,然后分批次写入数据时,都需要事先定义好变量,一般作为作业中起始组件,设置变量的作业举足轻重,这考验你在一个完成的ETL过程中的逻辑能力,你的ETL是否能正常完美的执行,和开始设置的变量有很重要的关系. 作业中的设置变量组件如下： 我们可以通过设置变量组件中的变量以.properties文件的方式引入 可以指定属性文件名为F:\...
KETTLE的简单学习实现
weixin_53123094的博客
07-25 609
KETTLE简单入门
Kettle中的循环作业，类似for循环功能
大宇进阶之路的博客
04-24 5642
在Kettle中通过组件之间的组合使用，可以实现程序中for循环的功能，可以循环执行某一个job或者转换，整体流程如下： 其中的JavaScript3是调试时使用的，可不加。 tra转换：选择要循环作业的表名 实际中可以将本转换改为选择数据库中的所有表。 JavaScript：获取上一步中的表名，并设置为变量 var prevRow=previous_result.getRows...
kettle学习笔记及最佳实践
weixin_34365635的博客
10-23 772
2019独角兽企业重金招聘Python工程师标准>>> ...
kettle 9.4 文件传输--FTPS上传
最新发布
06-05
<think>我们已知用户需要查找关于在Kettle9.4中使用FTPS上传文件的配置教程或示例。根据提供的站内引用，我们了解到Kettle9.4的安装和源码调试方法，但并没有直接关于FTPS上传文件的信息。因此，我们需要基于Kettle的一般使用方法和FTPS的知识来回答。由于Kettle（现在称为PentahoDataIntegration）是一个强大的ETL工具，它支持多种文件传输协议，包括FTP、FTPS、SFTP等。FTPS是FTPoverSSL/TLS的简称，提供了加密的数据传输。以下是配置Kettle作业或转换来使用FTPS上传文件的步骤：1.**创建转换或作业**：-打开Kettle的Spoon.bat（Windows）或Spoon.sh（Linux/Mac）。-创建一个新的转换（用于单一步骤）或作业（如果需要多个步骤或定时调度）。2.**添加“PUTafilewithFTP”步骤**：-在转换中，可以使用“PUTafilewithFTP”步骤来上传文件。注意，这个步骤同样支持FTPS。-在作业中，可以使用“FTP”作业项，然后选择“Putfiles”操作。3.**配置FTPS连接**：-在步骤配置界面，需要填写以下信息：-**ServerName**:FTPS服务器地址。-**ServerPort**:通常FTPS显式（Explicit）模式使用21端口，隐式（Implicit）模式使用990端口。注意选择正确的模式。-**Username**:登录用户名。-**Password**:登录密码。-**RemoteDirectory**:上传到远程服务器的哪个目录。-**LocalDirectory**:本地文件所在目录。-**wildcard**:要上传的文件名（可以使用通配符，如*.txt）。-关键点：勾选“UseFTPS”选项，并选择适当的加密模式（Explicit或Implicit）。通常推荐显式模式（Explicit），因为它更安全且符合标准。4.**高级设置**：-根据需要，可以设置连接超时、被动模式（PASV）等。-如果服务器使用自签名证书，可能需要勾选“Skipcertificatevalidation”以忽略证书验证（生产环境不推荐）。5.**测试连接**：-配置完成后，最好先测试连接。在“PUTafilewithFTP”步骤的配置界面，点击“Testconnection”按钮。如果成功，会显示“Successfullyconnectedtotheserver!”。6.**运行**：-保存转换或作业，然后运行。注意：Kettle在FTPS传输中支持多种协议，如TLSv1.2、TLSv1.3等。如果遇到连接问题，可能需要调整Java运行环境的安全协议设置（例如，在Spoon.bat中设置JAVA_OPTS，添加-Dhttps.protocols=TLSv1.2）。由于没有直接的示例，用户可能需要参考Kettle官方文档或社区中关于FTPS的配置。另外，也可以查看Kettle安装目录下的示例文件，但通常可能没有专门的FTPS示例。如果用户在使用过程中遇到问题，建议检查Kettle的日志（在Spoon的“执行结果”窗口的“日志”标签页）以获取错误信息。下面提供一个简单的转换示例步骤：1.在转换中，添加一个“PUTafilewithFTP”步骤（在“输入”分类下）。2.配置该步骤，填写服务器信息，并勾选“UseFTPS”。3.将步骤连接到起始节点（例如“Start”步骤）。4.运行转换。由于引用中没有关于FTPS的具体步骤，以上内容是基于Kettle的一般功能和FTPS的通用配置编写的。生成相关问题：§§相关问题§§1.Kettle9.4中如何配置SFTP文件传输？2.Kettle中如何调试文件传输相关的作业或转换？3.Kettle支持哪些安全文件传输协议？4.在使用Kettle的FTPS步骤时遇到证书错误该如何解决？</think> ### Kettle 9.4 FTPS 文件上传配置教程 在Kettle 9.4中配置FTPS文件上传，可通过以下步骤实现（基于通用FTPS配置逻辑和Kettle组件特性）： --- #### **一、核心配置步骤** 1. **创建转换/作业** - 打开Spoon.bat → 新建转换 → 添加 **`FTP PUT`** 组件（位于`输入`或`传输`分类中） 2. **FTPS连接配置** ```plaintext 服务器地址： ftps.example.com 端口： 990 (FTPS隐式模式) 或 21 (显式TLS) 用户名/密码： 您的FTPS凭据 ``` - **关键参数**： - 勾选 `Use secure FTP (FTPS)` - 协议类型选择： `TLS_Explicit` 或 `Implicit SSL` - 加密算法：推荐 `AES256-SHA`（需服务器支持） 3. **文件映射设置** ```plaintext 本地目录： /local/path 远程目录： /remote/path 通配符： *.csv (按需设置) ``` 4. **高级选项** - 启用 `Passive mode` (大多数防火墙环境需要) - 证书验证： - 信任所有证书：勾选 `Accept all certificates` - 或指定证书路径：`JVM信任库`中添加服务器证书 --- #### **二、完整配置示意图** ```plaintext [输入] → [FTP PUT] → [成功日志] | └─ [错误处理] ``` 配置界面参数示例： ```properties # FTP PUT组件配置 server.host=ftps.example.com server.port=990 user=admin password=***** remote.dir=/uploads/ local.dir=C:/kettle_export/ use_ftps=true ftps_mode=Implicit ``` --- #### **三、证书问题解决方案** 若遇到 **`PKIX path validation failed`** 错误： 1. **临时解决方案** 在`Spoon.bat`启动脚本中添加JVM参数： ```shell -Dorg.apache.commons.net.ftp.TrustAllSSL=true ``` 2. **正式环境方案** 将服务器证书导入Java信任库： ```shell keytool -import -alias ftps_cert -file server.cer -keystore %JAVA_HOME%/lib/security/cacerts ``` --- #### **四、调试建议** 1. **启用详细日志** 在`FTP PUT`组件 → `日志`标签页 → 勾选 `Enable detailed log` 2. **测试连接** 使用开源工具如`WinSCP`验证FTPS配置有效性 3. 连接失败时检查： - 防火墙是否开放990/21端口 - 服务器是否支持选择的TLS版本 > ⚠️ **注意事项**：Kettle默认使用`Apache Commons Net`库处理FTPS，其隐式模式(Implicit SSL)兼容性较弱，建议优先采用**显式TLS**模式[^1][^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值