Kettle中调用用户自定义的jar包

最新推荐文章于 2025-05-24 10:14:06 发布
最新推荐文章于 2025-05-24 10:14:06 发布
阅读量4.6k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kinghomes/article/details/75035814
本文介绍如何在Kettle中使用自定义Java组件。通过创建Java项目并将其打包为jar文件，然后放置于Kettle的lib目录下，可以在ETL流程中调用自定义的Java方法。文中详细描述了从开发到部署的全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ETL工具断断续续的也接触了 Informatica，Kettle, SSIS，个人感觉Info很强大但是也很贵，而且有着一些神秘感。Kettle 4.0版本以来已经有了User  defined java class组件，使用户可以写Java代码 让kettle来调用，这就说明了很多kettle不能处理的东西我们可以通过Java代码来实现，步骤如下：

一：创建Java  Project  

二：导出Jar包

在main方法中测试Java Project方法无误后 ，导出为jar包，如下图所示

三：放入kettle目录lib下面

这里需要注意的是，在网上看到的都是放到 ...\pdi-ce-6.0.1.0-386\data-integration\ libext 下面，这些说的大概是老版本，本人发现在新的版本6.0中根本没有libext这个目录，只有lib目录，那就放在这里吧，结果是正确的

四：在Java Code 组件中引用

 引用分为三个步骤

a : 导入import  自定义包的路径

b : new 一个方法所在的类

c : 用 a.function()的方法调用自定义类

如下图所示：

五：测试

一切就绪后，测试调用的结果，看数据库中的小写字母是不是被转换为大写字母输出了，执行结果如下图

输出结果如下图，kettle已经通过调用自定义的jar包中的function对输入的数据做了转为大写的操作，和理想的效果一样

 

KingCodes
关注
Kettle调用Java文件（Jar包）
Jackie的博客
08-04 4988
Kettle的脚本–>Modified Java Script Value不仅可以写js代码来处理数据，也可利用这个组件调用已经写好的Jar文件。  第一步、准备Java项目。  在IDE中新建java项目，并写好相应的处理逻辑。      将写好的java项目，导出成jar包，放到kettle的lib或者libext文件夹内（注意：项目内引用的jar包，若kettle中不存在，也要一并
java环境下调用kettle所需要的jar包
08-25
在有些java项目需要集成kettle工具进行在job流程控制和转换，但是调用离不开需要kettle jar包的支持，由于在kettle工具中的jar包比较多，肯定大家不知道哪些是必须的包。这里作者在自己实践当中，将支持基本转换的jar包全部都找出来了，一共包含10个jar文件，需要的朋友可以下载使用。
java kettle jar包_Kettle中调用用户自定义的jar包
weixin_39992072的博客
02-13 524
ETL工具断断续续的也接触了 Informatica，Kettle, SSIS，个人感觉Info很强大但是也很贵，而且有着一些神秘感。Kettle 4.0版本以来已经有了Userdefined java class组件，使用户可以写Java代码 让kettle来调用，这就说明了很多kettle不能处理的东西我们可以通过Java代码来实现，步骤如下：一：创建Java Project二：导出Ja...
Kettle服务本地Jar包集成资源：高效集成Kettle核心功能
gitblog_06735的博客
05-24 262
Kettle服务本地Jar包集成资源：高效集成Kettle核心功能 【下载地址】Kettle服务本地Jar包集成资源 本开源项目提供了Kettle服务的核心集成包，包含四个关键Jar文件，版本均为7.1.0.0-12。这些Jar包涵盖了Kettle的核心库、数据库对话框库、执行引擎以及Pentaho元数据库，是构建和运行...
通过Kettle自定义jar包供javascript使用
10-15
主要介绍了通过Kettle自定义jar包供javascript使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
java开发kettle时用到的jar包
05-11
kettle的core.jar，db.jar,engine.jar，java开发中，编写操作kettle对数据迁移
kettle调用jar包中的方法.txt
08-03
kettle中使用功能java和JavaScript调用jar中的方法示例
kettle连接oracle所需jar包
11-16
- 如果你使用的是Spoon（Kettle的图形化开发工具），还需要将JAR文件复制到Spoon的类路径下，通常是：`安装目录>/plugins/pentaho-kettle/plugins/kettle-core/lib/` 和 `安装目录>/plugins/pentaho-kettle/plugins...
Kettle中使用JavaScrip调用jar包对文件内容进行MD5加密的操作方法
10-14
本文将深入探讨如何在Kettle中利用JavaScript调用外部jar包对文件内容进行MD5加密，这是一种常见的数据安全措施，用于验证文件的完整性和一致性。 MD5（Message-Digest Algorithm 5）是一种广泛使用的哈希函数，...
kettle7常用jar包
10-27
16MB kettle7 常用jar包，调用一般的转换与任务够用了，最全的jar包大概是70MB，这是比较适中的精简包。
kettle导入的lib包
11-24
kettle的导入包，最小话包导入。完美运行
java集成kettle使用JAR
02-08
java集成kettle使用JAR 9.0.0.0-423 kettle
kettle引入jar包.rar
12-01
kettle引入jar包，里面包含kettle-core-8.3.0.0-371.jar，kettle-engine-8.3.0.0-371.jar，metastore-8.3.0.0-371.jar，这三个 jar 包，如果通过 maven 引入不成功可以尝试一下通过 maven 命令将这三个jar包导入到 maven 仓库中
java 开发 kettle时所需要的jar（真实 全面）
05-21
java调用kettle jar包生成ktr文件，在很多地方找了很久，都不全面，所以自己开发后，整理了所用到的jar包，很全面，包括oracle、sqlserver的，如果要连mysql库，要导入mysql的驱动包
Kettle的使用公式清理数据、Kettle的使用用户自定义Java表达式清理数据【ktr源文件】
12-26
Kettle的使用公式清理数据、Kettle的使用用户自定义Java表达式清理数据【ktr源文件】 实验内容如下： 掌握基于Kettle的使用公式清理数据 掌握基于Kettle的使用用户自定义Java表达式清理数据
java中调用kettle作业以及生成web service 接口
weixin_30919919的博客
11-23 363
第一步：（前提将kett中lib下的所有jar包拷贝到java项目lib目录）创建并连接资源库，如果只用这一个工作空间，可以将此段代码放入静态代码块，代码如下：　 KettleEnvironment.init(); //创建资源库对象，此时的对象还是一个空对象 KettleDatabaseRepository repository = new KettleDatabaseReposito...
java整合kettle--实现数据定时同步
mao19940425的博客
06-12 2817
工具：springboot，kettle核心jar包（xxl-job，jenkins，k8，docker）实现数据库的增量同步，需要编写好kettle转换文件以配置文件的形式，整合到springboot，有改动只需要更换转换文件，不需要更新jar包，job用于灵活调整定时同步，再结合jenkins自动部署，十分方便。1、首先用kettle画图制作转换文件，Spoon.bat启动；2、springboot整合结构：依赖：lib存放kettle的核心jar包(在kettle软件的lib里都有):核心代码： /*
kettle 实现更新excel中的变量
最新发布
06-20
<think>我们正在处理关于Kettle（PentahoDataIntegration）的问题，具体是如何更新Excel文件中的变量值。根据用户查询，我们需要找到一种方法来修改Excel文件中的特定变量（可能是命名范围、单元格值等）。然而，标准的Kettle组件主要用于数据抽取、转换和加载，并不直接提供修改Excel文件内容的功能，尤其是更新变量（这里变量可能指的是Excel中的命名单元格或范围的值）。在Kettle中，通常处理Excel文件的方式是读取（使用“Excel输入”步骤）或写入（使用“Excel输出”步骤）。但是，更新Excel文件中的特定变量（尤其是命名范围）并不是一个直接的过程。不过，我们可以考虑以下几种方法：1.**使用“Excel输出”步骤覆盖整个文件**：如果我们知道要更新的变量所在的单元格位置，我们可以生成一个包含新值的数据流，然后使用“Excel输出”步骤将数据写入到该单元格。但这种方法会覆盖整个工作表，或者至少覆盖指定的单元格区域。2.**使用JavaScript步骤或用户自定义Java类**：在转换中，我们可以使用JavaScript步骤或用户自定义Java类来操作Excel文件（例如使用ApachePOI库）以更新特定的命名范围或单元格。但这需要编写代码。3.**结合使用Kettle和外部程序**：通过Kettle的“执行程序”步骤调用外部脚本（如VBScript、Python等）来更新Excel文件中的变量。由于Kettle本身没有直接更新Excel变量的步骤，我们可能需要采用第二种或第三种方法。下面将重点介绍使用JavaScript步骤结合ApachePOI的方法（因为Kettle是Java编写的，可以直接使用Java库）。注意：在Kettle中使用自定义Java代码需要将相关的jar包（如POI）放入Kettle的lib目录，或者使用“UserDefinedJavaClass”步骤并包含这些库。步骤概述（使用UserDefinedJavaClass步骤）：1.读取Excel文件（如果需要保留其他部分，则读取整个文件）。2.定位到需要更新的变量（通过命名范围或单元格坐标）。3.修改变量的值。4.保存Excel文件。由于用户要求的是更新Excel中的变量，我们假设变量是存储在Excel的某个单元格中（可能是一个命名单元格）。以下是一个大致的转换步骤：-使用“Start”步骤开始转换。-使用“GenerateRows”步骤生成一行数据，包含要更新的变量名和值（或者从其他来源获取这些数据）。-使用“UserDefinedJavaClass”步骤（或“JavaScript”步骤，但JavaScript步骤不能直接使用POI，所以更推荐Java类步骤）来执行更新操作。在“UserDefinedJavaClass”步骤中，我们可以编写类似下面的代码（伪代码）：```javaimportorg.apache.poi.ss.usermodel.*;importorg.apache.poi.xssf.usermodel.XSSFWorkbook;importorg.apache.poi.hssf.usermodel.HSSFWorkbook;//读取Excel文件StringfilePath="C:/path/to/your/excel.xlsx";FileInputStreamfileIn=newFileInputStream(filePath);Workbookworkbook=WorkbookFactory.create(fileIn);//假设我们要更新的变量是一个命名范围，名为"myVariable"NamenamedCell=workbook.getName("myVariable");if(namedCell!=null){//获取命名范围引用的区域AreaReferenceareaRef=newAreaReference(namedCell.getRefersToFormula(),SpreadsheetVersion.EXCEL2007);CellReference[]cellRefs=areaRef.getAllReferencedCells();if(cellRefs.length>0){CellReferenceref=cellRefs[0];Sheetsheet=workbook.getSheet(ref.getSheetName());Rowrow=sheet.getRow(ref.getRow());Cellcell=row.getCell(ref.getCol());//设置新的值（这里假设新值来自输入行的一个字段，字段名为"new_value"）StringnewValue=get(Fields.In,"new_value").getString(r);cell.setCellValue(newValue);}}//保存修改fileIn.close();FileOutputStreamfileOut=newFileOutputStream(filePath);workbook.write(fileOut);fileOut.close();```但是，请注意：-上述代码是示例，实际编写时需要处理异常，并考虑Excel的版本（xls或xlsx）。-在Kettle的“UserDefinedJavaClass”步骤中，我们需要处理输入行，并确保文件路径和变量名等是动态传递的（可以通过字段传递或使用变量）。-由于操作文件，需要注意并发和文件锁的问题。另外，如果变量不是命名范围，而是特定的单元格（比如A1单元格），那么我们可以直接通过坐标更新：```javaSheetsheet=workbook.getSheetAt(0);//第一个工作表Rowrow=sheet.getRow(0);//第一行（索引0）Cellcell=row.getCell(0);//第一列（A列）cell.setCellValue(newValue);```由于在Kettle中直接编写Java代码对用户要求较高，另一种更简单的方法是使用“执行SQL脚本”步骤（如果Excel文件是作为数据库连接的话）来执行UPDATE语句，但Kettle并不支持将Excel文件当作数据库来执行UPDATE（除非通过ODBC等连接，但那样又需要配置）。因此，综合考虑，使用ApachePOI库在UserDefinedJavaClass步骤中更新Excel可能是最直接的方法。另外，用户提到“更新Excel中的变量”，也可能是指更新Excel文件中某个单元格的值，这个单元格的值在Kettle转换中作为变量使用。如果是这样，那么更新后，在后续步骤中就可以使用这个新值。但注意，Kettle转换中使用的变量通常是内存中的，不会自动写回Excel文件。所以我们需要将更新写回文件。总结步骤：1.读取Excel文件（使用POI）。2.更新指定单元格的值。3.写回Excel文件。如果用户希望避免编写Java代码，也可以考虑使用Kettle的“执行程序”步骤调用外部脚本（如Python）来更新Excel。例如，编写一个Python脚本使用openpyxl库更新Excel，然后在Kettle中调用这个脚本。在Kettle转换中：-使用“执行程序”步骤调用Python脚本，并传递参数（文件路径、变量名、新值等）。示例Python脚本（update_excel.py）:```pythonimportopenpyxlimportsysiflen(sys.argv)<4:print("Usage:pythonupdate_excel.py<excel_file><sheet_name><cell_address><new_value>")sys.exit(1)excel_file=sys.argv[1]sheet_name=sys.argv[2]cell_address=sys.argv[3]new_value=sys.argv[4]wb=openpyxl.load_workbook(excel_file)sheet=wb[sheet_name]sheet[cell_address]=new_valuewb.save(excel_file)```然后在Kettle中，使用“执行程序”步骤调用：```pythonupdate_excel.py"${file_path}""Sheet1""A1""${new_value}"```注意：这种方法需要服务器上安装了Python和openpyxl库。综上所述，根据用户的技术背景和偏好，可以选择Java（POI）或外部脚本（Python）的方式来实现。由于用户的问题中没有明确说明变量的具体形式（命名范围还是单元格地址），我们提供了两种更新单元格值的方法（通过坐标或命名范围）。用户需要根据自己的Excel结构进行调整。最后，由于Kettle的主要用途是ETL，更新源文件（如Excel）并不是其核心功能，因此可能需要一些额外的开发工作。如果用户只是想在Kettle转换过程中使用变量，并且这些变量来源于Excel，那么通常的做法是：1.使用“Excel输入”步骤读取变量值（从指定单元格）。2.在后续步骤中使用这些变量（例如通过“设置变量”步骤设置为Kettle变量）。3.但是，如果用户希望将转换过程中计算出的新值写回Excel，则需要按照上述方法之一操作。根据引用内容，用户之前可能已经使用过Kettle处理Excel，但并没有直接更新Excel变量的步骤。引用[3]中提到了使用JavaScript步骤获取变量，引用[2]中介绍了Kettle变量的类型，但没有涉及更新Excel文件本身。因此，我们建议采用上述两种方法之一：使用UserDefinedJavaClass步骤（需要Java编程）或调用外部脚本（需要外部环境）。下面我们给出一个使用UserDefinedJavaClass步骤的详细示例（假设更新命名范围）：步骤：1.在转换中，首先确定要写入Excel的新值（可能来自数据流或生成一行数据）。2.使用“UserDefinedJavaClass”步骤，输入字段包括：excel_file（文件路径），variable_name（变量名），new_value（新值）。3.在步骤中编写Java代码，使用POI更新Excel文件。由于代码较长，且需要处理异常和不同版本的Excel，这里提供一个简化的示例代码（在UserDefinedJavaClass步骤中）：```javaimportjava.io.*;importorg.apache.poi.ss.usermodel.*;importorg.apache.poi.ss.util.*;publicbooleanprocessRow(StepMetaInterfacesmi,StepDataInterfacesdi)throwsKettleException{Object[]r=getRow();if(r==null){setOutputDone();returnfalse;}//假设输入行有三个字段：excel_file,variable_name,new_valueStringexcelFile=get(Fields.In,"excel_file").getString(r);StringvariableName=get(Fields.In,"variable_name").getString(r);StringnewValue=get(Fields.In,"new_value").getString(r);try{Workbookworkbook=null;FileInputStreamfis=null;try{fis=newFileInputStream(excelFile);workbook=WorkbookFactory.create(fis);}finally{if(fis!=null){fis.close();}}//获取命名范围Namename=workbook.getName(variableName);if(name==null){thrownewKettleException("Namedrange'"+variableName+"'notfound.");}//获取命名范围对应的单元格（只取第一个）StringrefersToFormula=name.getRefersToFormula();AreaReferenceareaRef=newAreaReference(refersToFormula,SpreadsheetVersion.EXCEL2007);CellReference[]cellRefs=areaRef.getAllReferencedCells();if(cellRefs.length==0){thrownewKettleException("Nocellsfoundfornamedrange'"+variableName+"'.");}CellReferencecellRef=cellRefs[0];Sheetsheet=workbook.getSheet(cellRef.getSheetName());Rowrow=sheet.getRow(cellRef.getRow());if(row==null){row=sheet.createRow(cellRef.getRow());}Cellcell=row.getCell(cellRef.getCol(),Row.MissingCellPolicy.CREATE_NULL_AS_BLANK);//设置新值（这里按字符串处理，可根据需要调整）cell.setCellValue(newValue);//保存FileOutputStreamfos=newFileOutputStream(excelFile);workbook.write(fos);fos.close();workbook.close();}catch(Exceptione){thrownewKettleException("ErrorupdatingExcelvariable",e);}//将输入行传递到输出（可选）putRow(data.outputRowMeta,r);returntrue;}```注意：此代码仅适用于.xlsx文件（使用SpreadsheetVersion.EXCEL2007）。对于.xls文件，需要使用HSSFWorkbook和SpreadsheetVersion.EXCEL97。另外，需要确保Kettle的lib目录下有POI的jar包（如poi-xxx.jar,poi-ooxml-xxx.jar等）。如果用户没有命名范围，而是直接使用单元格地址（如Sheet1!A1），那么可以修改为：```java//假设variable_name字段传递的是单元格地址字符串，如"Sheet1!A1"StringcellRefStr=variableName;//例如"Sheet1!A1"CellReferencecellRef=newCellReference(cellRefStr);//然后获取sheet和单元格Sheetsheet=workbook.getSheet(cellRef.getSheetName());//...同上```这样，用户就可以通过传递单元格地址字符串来更新任意单元格。以上方法提供了在Kettle中更新Excel文件变量（或单元格值）的解决方案。用户需要根据实际情况调整。由于问题复杂，用户可能需要进一步调试和配置。相关问题：1.如何在Kettle中读取Excel的命名范围？2.如何在Kettle中调用外部Python脚本？3.如何配置Kettle使用ApachePOI库？4.Kettle中UserDefinedJavaClass步骤的使用方法是什么？5.如何避免在Kettle中同时更新Excel文件时的冲突？</think>### 如何使用 Kettle 更新 Excel 文件中的变量值 在 Kettle (Pentaho Data Integration) 中更新 Excel 文件变量值，需要通过结合 **变量传递** 和 **文件写入操作** 实现。以下是详细步骤： --- #### **方法 1：通过「设置变量」组件更新值（推荐）** 适用于需要动态修改 Excel 输入参数的场景： 1. **定义变量** 在转换开始时使用 **「设置变量」** 组件定义变量： - 变量名：如 `EXCEL_PATH` - 变量值：动态路径（如 `C:/data/${DATE}.xlsx`） 2. **Excel 输入配置** 在 **「Excel 输入」** 组件中引用变量： ```plaintext 文件或目录 → ${EXCEL_PATH} ``` ![Excel 输入配置](https://example.com/kettle-excel-input.png) [^2] 3. **更新变量值** 在后续步骤中通过 **「设置变量」** 修改 `EXCEL_PATH`，新值会自动应用于后续读取。 --- #### **方法 2：使用 JavaScript 脚本动态更新** 适合复杂逻辑（如遍历文件）： ```javascript // 在JavaScript步骤中修改变量 var newPath = "C:/updated_data.xlsx"; parent_job.setVariable("EXCEL_PATH", newPath); ``` > 通过 `parent_job.setVariable()` 覆盖原变量值 [^3]。 --- #### **方法 3：直接写入 Excel 文件** 若需修改 Excel 内容本身： 1. **读取原始数据** 使用 **「Excel 输入」** 加载文件。 2. **修改变量值** 通过 **「计算器」** 或 **「字段选择」** 修改对应字段值。 3. **写回 Excel** 使用 **「Excel 输出」** 组件： - 指定输出文件路径（可包含变量如 `${OUTPUT_PATH}`） - 勾选 **“覆盖现有文件”** ```plaintext 文件 → ${OUTPUT_PATH} ``` --- #### **关键注意事项** 1. **变量作用域** - 局部变量（自定义变量）：仅在当前转换有效 [^2] - 全局变量：需在 `kettle.properties` 中定义 2. **路径处理** 使用 `${internal.Entry.Current.Directory}` 获取当前目录避免路径错误 [^4] 3. **字段映射** 在 **「字段选择」** 中明确列映射关系，确保更新字段匹配目标列 [^1] > **操作示例**：更新 Excel 中的 `discount_rate` 字段值 > ```plaintext > 输入 → 计算器（公式：discount_rate * 0.9） → Excel输出 > ``` --- ### 相关问题 1. Kettle 如何实现 Excel 文件的增量更新？ 2. 如何在 Kettle 中动态生成 Excel 文件名？ 3. Kettle 变量和参数有什么区别？[^2] 4. 如何避免 Kettle 写入 Excel 时的格式丢失问题？ 5. Kettle 能否直接修改已打开的 Excel 文件？ [^1]: 【使用kettle实现excel输入table输出数据转换】，字段映射配置 [^2]: Kettle变量和参数介绍系列文章1-变量的使用，作用域说明 [^3]: kettle遍历抽取某目录下Excel文件数据，JavaScript修改变量示例 [^4]: 利用kettle组件导入excel文件到数据库，路径处理技巧
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值