kettle trans和job的执行

最新推荐文章于 2023-07-16 15:18:05 发布
最新推荐文章于 2023-07-16 15:18:05 发布
阅读量561 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangjinyuan161/article/details/84547069

1 transformation的执行用 pan.sh 

   例如sh pan.sh -rep   localhost--kettle -user admin -pass admin  -trans testoutfile  -dir / -level Detailed

                                     仓库                                      -user 用户名   -pass 密码          -trans 转换名              -dir 路径  -level 日志级别

 

2 job 执行用kitchen.sh 

 

   sh kitchen.sh     -rep   localhost--kettle     -user admin -pass admin      -job job_test  -dir / -level Detailed

Kettle之定时运行Job
fang.lovest.yang的博客
03-24 1万+
Kettle做定时任务有两种方式。 第一种是kettle自带的Start控件，缺点是kettle程序必须始终运行，浪费内存。 第二种是使用系统的定时功能。使用Kitchen、Pan命令编写bat、sh脚本，然后使用windows任务计划或者linux的crotab实现定时执行执行脚本。 （一）Start控件执行定时任务 我们需要建立一个job，来让转换定时执行。 操作步骤 1、运行软件，进入主界面。点击左上角的 文件 → 新建 → 作业(J)新建一个作业（job），并...
通过数据库批量向kettle中插入数据，建立trans和job的模板（按照不同的要求需要自行调整）
qq_22994783的博客
09-14 725
import psycopg2 用来操作数据库的类 class GPCommand(object): # 类的初始化 def init(self): self.hostname = ‘10.1.2.42’ self.username = ‘di_repository’ self.password = ‘di_repository...
kettle集群（cluster）在多个服务器上并发执行
07-29
kettle集群（cluster）在多个服务器上并发执行，文档详细移动，通过测试成功
Kettle（二）：转换和作业基本概念和实例
热门推荐
小蚯蚓的博客
05-21 1万+
一、转换和作业定义 转换（Transformation） 和 作业（Job）是Spoon设计器的核心两个内容，这两块内容构建了整个Kettle工作流程的基础。 1. 转换（Transformation）：主要是针对数据的各种处理，一个转换里可以包 含多个步骤（Step）。 2. 作业（Job）：相较于转换，是更加高级的操作。一个作业里包括多个作业项（Job Entry），一个作业项代表了一项...
Kettle怎么在集群模式下通过kitchen 命令运行job
sinat_39619040的博客
07-16 1203
本案例中动态集群是伪集群，该集群包括主从服务器，仅当主服务器生效时，整个集群生效。如果本集群中的主服务carte 服务重启了，该集群下的从服务器carte 服务亦需要重新启动，否则该集群不生效。spoon 模式可以成功运行集群，而kitchen 不能成功调起集群，可能是某些kettle 特定版本的Bug。
Kettle 集群（cluster）在多个服务器（windows、linux）上并发执行
薛秋艳的博客
06-08 2218
关于kettle集群在单机上的测试可参考文档：http://www.cnblogs.com/inuyasha1027/p/3259402.html。这里主要介绍服务器分布在不同主机上的情况。 一、Kettle的部署 不管是linux下还是windows下部署kettle前提是机器上都已安装JDK。其次把kettle的安装文件解压后即可。Windows下启动spoon.bat；linux下启动s...
kettle执行job流程分析（2）
u013257767的博客
03-17 925
真是时光荏苒啊好长时间没再写kettle的代码分析了，正好最近在排查kettle的连接池泄露的问题，趁此机会再来好好聊一聊。job里有个比较灵活的用法，就是前后监听器 JobListener。遍查 engine的代码，以结束监听较多。如果查看 trans 和 job 的执行，就会发现这两者的执行是有较大差别的。
java调用kettle中的job与转换-源码
11-16
5. **运行Job与转换**：创建`Trans`对象执行转换，创建`Job`对象执行作业。注意，执行转换前需要创建`TransExecutionConfiguration`对象，对于作业则是`JobExecutionConfiguration`。例如： ```java Trans trans =...
kettle 读取job 和流程
04-12
在Kettle中，"spoon" 是主要的图形化开发工具，提供了一个直观的界面来设计、测试和运行Job和Trans。"SpoonWeb" 可能是指Spoon的Web版本，允许用户在Web环境下进行Kettle的开发和管理，这对于团队协作和远程操作非常...
kettle集成应用之---java调用执行transformation和job
12-08
kettle集成应用之java调用执行transformation和job kettle是一款功能强大的数据集成工具，可以在java应用程序中集成应用，实现调用资源库上和本地的transformation和job。下面是kettle集成应用的详细知识点： 一、...
利用kettle运行job，完成以上的两个过程.mp4
02-04
利用kettle运行job，完成以上的两个过程.mp4Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表
【方案】kettle job和trans从单机迁移到cluster集群环境
ongyanjin的博客
11-20 1192
原先开发的kettle job 和 trans都是在单机执行的，kettle搭建集群环境之后，原先单机的job和trans需要迁移到集群环境。kettle资源库在mysql数据库。 编写脚本批量修改mysql的kettle配置表，实现job和trans从单机切换到集群
Java 操作 Kettle 的 job 、trans 需要的jar 从哪里找
I do more ，you do less
08-21 780
先说正事： Java 操作 Kettle 的 job 、trans需要的jar，在kettle的安装目录下可以找到，如，我本地的安装路径如下图所示,在安装目录下的jar中查找需要使用的jar。就这破玩意，还费劲的从csdn下载，需要￥。还是自己动手，丰衣足食啊 相关代码: 我的代码也是抄的。 import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.exception.KettleException; i.
kettle5.3实现元数据注入的转换以集群模式运行
1032851561的博客
11-18 1万+
1. 背景基于kettle进行二次开发时，想做一些比较通用的kettle作业，何为通用，例如要将A表数据迁移到B表，C表的数据迁移到D表，常规就是在spoon建两个作业(表输入->表输出)，如果做到通用，那么就是建一个作业(表输入->表输出)，然后在运行作业的时候把一些配置参数(数据库连接、源表名、目标表名、字段映射等)作为变量的形式传入，在作业运行的过程中利用元数据注入组件(MetaInject)...
quartz + kettle8二次开发-实现集群高可用
天地炫舞的博客
07-31 5208
quartz+kettle8二次开发-实现集群高可用quartz+kettle8二次开发-实现集群高可用 quartz+kettle8二次开发-实现集群高可用
开源ETL工具kettle系列之常见问题
stefshawn的专栏
05-05 6943
摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 1. Join 我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么
kettle软件 转换和作业_Kettle 作业（Job）和 转换（Transform）
weixin_28705579的博客
12-23 994
作业(Job)由一个个步骤组成，转换只是作业的其中一个步骤。Kettle的控件分为2种：作业(Job)和转换(Transform)。对于作业和转换，重点记住以下3点：作业是步骤流，转换是数据流。这是作业和转换最大的区别;作业的每一个步骤，必须等到前面的步骤都跑完了，后面的步骤才会执行；而转换会一次性把所有控件全部先启动(一个控件对应启动一个线程)，然后数据流会从第一个控件开始，一条记录、一条记录地...
ETL（kettle）创建工作任务job详解
u010013221的博客
06-06 6842
ETL任务说明 一、 地方业务库 到 地方前置交换库 例：etl\nationfep\tofep\project目录下的配置  总体任务 文件：project.kjb 建设项目相关的表的数据的转化 任务开始 转换（主要配置） 任务结束 说明：任务是调度的单元，之后windows任务计划配置的任务和kettle任务一一对应。一个任务可以包含多个kettle转换，原则上没有限制，但应当按照某个相关主题进行配置，简化管理维护。  转换 文件：以ktr结尾 以project.ktr为例 数据库连接配置 
掌握Kettle中Job和流程的读取方法
- 监控Job执行的进度和状态，如果有必要进行日志查看和错误处理。 ### 3. 读取和执行Transformation 执行Transformation的过程与Job类似，但更关注数据转换的细节： - 同样在Spoon中打开设计界面，找到需要运行的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值