实战——Linux定时执行Kettle的kjb文件

最新推荐文章于 2024-07-22 15:11:32 发布

程序猿在京

最新推荐文章于 2024-07-22 15:11:32 发布

阅读量1.6k

点赞数

文章标签： linux

本文链接：https://blog.youkuaiyun.com/qq_17376623/article/details/124802201

版权

公司有很多业务使用了Kettle来抽取数据，Kettle比较强大，它自身就支持定时任务执行，操作步骤如下：

设置kjb文件

使用spoon编写好kettle服务

编写好的kettle任务

设置定时任务

设置具体的定时任务

配置定时任务
选择不同的执行类型
设置完成后，保存即可。

设置定时启动（使用kitchen.sh设置）

进入Linux，进入kettle文件目录（我本地服务器）：/data/kettle/data-integration

kettle目录插图

编写命令行

# 启动格式
nohup  ./kitchen.sh  -file=/home/etl/kettle/kettle_job/etl_zhibiao_lib_zl/etl_zhibiao_lib.kjb  -level Basic >> /home/etl/kettle/logs/etl_zhibiao_lib_zl/out.log  2>&1 &

运行即可

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序猿在京

关注关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

Kettle【实践 04】Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明（云资源分享:依赖包+kjb+ktr+测试源码）

シ風

03-02

2496

Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明（云资源分享:依赖包+kjb+ktr+测试源码）

Kettle【实践 01】Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）

Java与大数据相关实践内容分享！

07-15

1532

Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）

参与评论您还未登录，请先登录后发表或查看评论

Spring Boot 项目中运行 Kettle 任务的 .kjb 文件

qq_57300198的博客

06-06

1022

在 Spring Boot 项目中运行 Kettle 任务的 .kjb 文件

kettle 在Linux下执行kjb

ytrdgfdtr的专栏

12-29

2895

安装好kettle后将 .sh 结尾的文件赋予中的权限前提准备好kettle中kjb脚本建议写一个 shell启动脚本内容如下第一步创建日期结尾的日志第二步通过kitchen.sh 执行 kjb文件并将日志输出到指定位置 #!/bin/bash filenamedate=$(date +%Y-%m-%d).log echo "start" >> /usr/local/kettle/kettle_data/kettle_log/"all_info_"$filenam

在linux文件下执行.kjb文件和trans文件

chensq_yinhai的博客

11-30

5276

先找到kitchen.sh文件所在的位置新建一个sh文件（runKjbScript.sh），在文件中添加如下代码： kitchen.sh路径/kitchen.sh -file= 文件路径/kjb文件名称.kjb -log=日志名称.log 可以配置成定时任务：例如每天下午17：30运行就可以写成： 30 17 * * * cd /runKjbScript文件路径 && ./runKjbScript.sh reload 生效：/etc/init.d/crond/reload 参考博客：htt

Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法

qq_35907918的博客

01-11

2701

转载地址： https://blog.youkuaiyun.com/zuolovefu/article/details/78083445 1. 准备工作一个简单的job，一个简单的trans。 trans：读取download目录下的所有文件名，输出为文件。【界面情况下测试成功】成功生成目标文件：job：创建文件。【界面模式测试执行成功】执行结果：把界面执行测试结果文件删除...

kettle使用命令行来运行ktr和kjb

05-13

kettle使用命令行来运行ktr和kjb

linux centos环境kettle部署与定时作业执行

01-23

Linux Centos 环境 Kettle 部署与定时作业执行 Linux Centos 环境 Kettle 部署与定时作业执行是指在 Linux Centos 环境中部署 Kettle 工具，并配置定时作业执行。下面将详细介绍 Kettle 部署和定时作业执行的步骤...

服务器执行kjb文件,部署Kettle作ETL开发并使用Crontab制做调度系统

weixin_33201531的博客

08-06

1030

背景说明：在数据量较小，且数据源和装载地都是关系型数据库时，使用Kettle作ETL较为简便。因为调度系统产品由于服务器环境方面的因素，而没法部署，故使用Linux的crontab定时器来制做简易调度系统是一个比较简便的解决方案。本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制简易调度系统，以便处理相似问题时方案的复用。html1、环境与工具CentOS 6.7JDK1.8/JDK1...

linux中kettle环境变量配置文件,linux下部署和执行kettle——（配置文件、动态获取、后台执行）...

weixin_27061475的博客

04-29

3760

一.部署准备1.1 java安装(略)1.2 JDK配置1.命令行键入“cd /etc”进入etc目录2.命令行键入“vi profile”打开profile文件3.敲击键盘ctrl+F到文件末尾4.在末尾处，即第一个~的地方，敲击键盘将以下内容输入到文件exportJAVA_HOME=/usr/java/jre1.6.0_45exportPATH=$JAVA_HOME/bin:$PATHexpo...

first-job.kjb

04-04

kettle环境搭建源文件（first-job.kjb）

Java调用kjb文件

lw18751836671的专栏

08-13

5289

目录一、kjb和ktr文件创建 kjb文件 ktr文件关联kjb和ktr 变量信息二、 Java代码调用kjb 引包放入kjb和ktr文件三、代码调用定时任务一、kjb和ktr文件创建 kjb文件首先先新建一个Job，如下图所示，这样就新建了一个kjb文件，即一个可以被java运行的job。 ktr文件然后创建一个ktr文件，即如下图所示关于其中的元素，不过多的介绍了。关联kjb和ktr 接着将kjb...

ETL高级教程

shenxiangl

01-28

846

ETL高级教程在昨天的帖子里面，我介绍了一些ETL初级的东西，不知道大家是否已经掌握，我现在介绍一些Kettle应用中，比较有帮助的一些地方。 1，Kettle跨平台使用。例如：在AIX下（AIX是IBM商用UNIX操作系统，此处在LINUX/UNIX同样适用），运行Kettle的相关步骤如下： 1）进入到Kettle部署的路径 2）执行 chmod *....

kettle在linux上的运行方法

weixin_42326851的博客

11-12

1万+

kettle在linux上的运行方法(Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法)

kjb文件解析_NVH原始数据文件如何读取 Part2

weixin_39962153的博客

10-28

468

“前一篇文章介绍了NVH数采系统记录的原始文件常见的几种数据格式。本篇将介绍怎样找到具体的数据位置并还原它，从而实现编程直接读取原始文件的目的。”01—画出整体数据前一篇文章提到：数采系统记录的原始数据包含两部分：ASCII码明文和某类型的二进制数据。如图1。图1本文中，我们以24位数据格式来举例。要画出整体数据，可以对图1的原始文件进行如下3次尝试，如图2：1)从文件开头，读取24位整...

kettle 用cmd bat来运行ktr和kjb

baidu_32078207的博客

05-14

2688

pan /file x:\xxx\xxx.ktr kitchen /file x:\xxx\xxx.kjb bat写法新建文本文档改后缀为.bat,加入下面内容 @echo off cmd /k "cd /d kettle文件根目录 && kitchen /file x:\xxx\xxx\xxx.kjb " pause 保存双击执行

Kettle ktr、kjb线上任务调度平台

热门推荐

fang.lovest.yang的博客

03-24

1万+

Kettle做定时任务有两种方式。第一种是kettle自带的Start控件，缺点是kettle程序必须始终运行，浪费内存。第二种是使用系统的定时功能。使用Kitchen、Pan命令编写bat、sh脚本，然后使用windows任务计划或者linux的crotab实现定时执行执行脚本。（一）Start控件执行定时任务我们需要建立一个job，来让转换定时执行。操作步骤 1、运行软件，进入主界面。点击左上角的文件 → 新建 → 作业(J)新建一个作业（job），并...

Windows定时任务，Windows定时调度kettle，设置linux定时调度kettle

m0_46521990的博客

02-22

2387

【代码】Windows定时任务，Windows定时调度kettle，设置linux定时调度kettle。

怎么定时执行kettle kjb文件

04-01

您可以使用Kettle提供的调度器Quartz来定时执行Kettle kjb文件。以下是基本的步骤： 1. 安装Quartz插件。您可以在Kettle插件中心中找到它。 2. 创建一个新的Kettle作业，并将kjb文件添加到该作业中。 3. 配置Quartz调度器。您需要指定作业的执行计划和触发器，例如每天早上8点执行一次。 4. 启动Quartz调度器并运行作业。以下是一个简单的示例代码，可以帮助您开始使用Quartz调度器： ``` // 初始化Quartz调度器 SchedulerFactory sf = new StdSchedulerFactory(); Scheduler sched = sf.getScheduler(); // 创建一个新的Kettle作业 JobDetail job = JobBuilder.newJob(KettleJob.class) .withIdentity("kettleJob", "group1") .build(); // 将kjb文件添加到作业中 job.getJobDataMap().put("kjbFile", "/path/to/your/kjb/file.kjb"); // 创建一个触发器并指定执行计划 Trigger trigger = TriggerBuilder.newTrigger() .withIdentity("trigger1", "group1") .withSchedule(CronScheduleBuilder.dailyAtHourAndMinute(8, 0)) .build(); // 启动Quartz调度器并运行作业 sched.start(); sched.scheduleJob(job, trigger); ``` 在上面的示例中，我们创建了一个名为“kettleJob”的新作业，并将kjb文件路径存储在作业数据映射中。我们还创建了一个每天早上8点执行一次的触发器，并将其与作业关联起来。最后，我们启动了Quartz调度器并调度作业运行。