
kettle
文章平均质量分 60
大宇进阶之路
这个作者很懒,什么都没留下…
展开
-
Kettle中JavaScript变量&转换和作业常用的内置变量
参考原文:https://www.jianshu.com/p/6d1b9ae16085在作业和转换参数中使用Kettle内置变量,可以更方便的工作。下面是Kettle中常用的内置变量:转载 2019-11-07 14:34:10 · 2478 阅读 · 0 评论 -
Kettle中的循环作业,类似for循环功能
在Kettle中通过组件之间的组合使用,可以实现程序中for循环的功能,可以循环执行某一个job或者转换,整体流程如下:其中的JavaScript3是调试时使用的,可不加。tra转换:选择要循环作业的表名实际中可以将本转换改为选择数据库中的所有表。JavaScript:获取上一步中的表名,并设置为变量var prevRow=previous_result.getRows...原创 2020-04-24 13:48:14 · 5540 阅读 · 3 评论 -
Pentaho的linux的自动启动脚本
为了更好监听pentaho server服务编写自动启动脚本,其目的是:1. 运行stop-pentaho.sh脚本停止pentaho server后有的进程号还没完全关闭,本脚本在启动server前会把之前的server进程kill掉2. 当server因未知因素挂掉时,本自动脚本会自动重启server#!/bin/shpid=`ps -ef | grep pentaho-server| grep -v grep| awk '{print $2}'`echo $pid f.原创 2021-04-13 19:54:02 · 477 阅读 · 0 评论 -
Kettle执行python脚本
kettle的作业中有一个Shell组件,通过这个组件并选择好python环境,即可执行py文件,示例任务如下:其中,工作路径选择python.exe的目录,脚本选择相应文件即可。但是,执行后报错或者发现py文件没有被执行,是什么问题呢?原因是需要添加.py文件默认打开方式为python.exe。添加方式:控制面板->默认程序 ->按文件类型指定默认应用选择.py对应的默认应用改为python,我的默认程序是pycharmPS:如果选择默认应该没出来Pyt..原创 2020-11-20 17:16:19 · 9193 阅读 · 3 评论 -
Kettle/Pentaho的Carte集群配置和使用
以下配置和记录只为学习使用,查看了网上资料进行的实践,这是文档记录的一个章节,提供给大家学习。现在公司使用的都是8.3稳定版本的开源Pentaho,也就是习惯称呼的Kettle。一般把Pentaho server安装在linux服务器上,使得server稳定运行,在Windows系统下安装客户端PDI使用。客户端PDI连接Pentaho server的repository存储库后,都会把任务提交到server上或者设置调度计划执行作业。而不会在PDI客户端上调度作业。但为了提高Pentaho的性原创 2021-09-09 19:31:12 · 5147 阅读 · 0 评论 -
KETTLE/Pentaho使用通配符匹配目录下多个文件输入到一张表中
https://www.linuxidc.com/Linux/2017-10/147536.htmhttps://www.linuxidc.com/Linux/2017-10/147536.htmhttps://blog.youkuaiyun.com/f365420465/article/details/83780296原创 2021-07-28 17:28:23 · 2204 阅读 · 0 评论 -
kettle调用存储过程和函数实例
位置作用:连接Oracle数据库后,可以调用数据库已有的存储过程示例:建立简单的存储过程:CREATEORREPLACEPROCEDUREPRO_SUM (a INNUMBER,b OUTNUMBER)ASBEGINb:=a*2;END;建立的转换:其中 data grid输入是存储过程组件:选择Oracle的db连接;点击find it找到存储过程;查看结果:...原创 2021-06-18 16:55:03 · 5545 阅读 · 0 评论 -
kettle/Pentaho工具之阻塞数据直到步骤都完成
我们在job和transformation开发中会有等待某一步完成后,再执行下一步的需求,在job作业中实现这一需求参考下面这篇文章:kettle(Pentaho)job作业并行都执行完后再执行下一步的操作在转换中,因为转换的所有步骤都是同时启动的,所以用到阻塞这一个组件实现等待的需求。“阻塞数据直到转换都完成”的使用:1、转换步骤名称:步骤的名称,在单一转换中,名称必须唯一。2、监视下面的步骤:在此表格中指定要等待的步骤,可点击“获取步骤”按钮将转换中的全部步骤自动填充..原创 2021-05-13 14:11:55 · 5335 阅读 · 1 评论 -
kettle(Pentaho)job作业并行都执行完后再执行下一步的操作
我们在作业开发会遇到各种作业的执行逻辑,包括串行、并行、并行结束后再开始串行等;本文章介绍job作业中如何并行执行完子job/转换后,才开始下一步作业的执行。示例job如下:其中通过wait for sql 实现了对并行流程的等待,建立了一张表用来判断。delete record:在每次作业执行前把表清空。insert first record:本支线的任务执行完,插入一条记录到表中。insert second record:本支线的任务执行完,插入一条记录到表中。.原创 2021-05-13 10:33:18 · 10848 阅读 · 6 评论