Kettle PDI后台执行定时任务

最新推荐文章于 2024-03-15 19:03:25 发布
原创 最新推荐文章于 2024-03-15 19:03:25 发布 · 668 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #etl

本文介绍了如何使用Kettle PDI配合crontab在后台执行定时任务，包括创建.sh脚本、设置执行权限、配置crontab表达式以及检查任务状态。通过crontab的特殊字符如*、,、-、/灵活设定任务执行间隔。" 82704651,7973583,Qt调用C++动态链接库实战,"['Qt开发', 'C++编程', 'DLL调用', '软件工程']

目录

定时任务

1.写一个.sh脚本

vim test.sh

内容

/opt/software/data-integration/kitchen.sh -dir=/ -rep=187a -user=admin -pass=123456 -job=
最低0.47元/天 解锁文章
Kettle学习（一）：下载编译与部署（9.4.0.0版本）
好好学习天天向上
04-25 3562
一、下载 https://github.com/pentaho/pentaho-kettle 二、安装 一.编译环境 Maven, version 3+ Java JDK 11 Maven配置 <?xml version="1.0" encoding="UTF-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta
Kettle用法之Windows定时任务
helloworldchina的博客
01-12 3025
前文提到了kettle的定时任务计划，但这个任务需要开启kettle，本文将利用windows的任务计划实现kettle的定时任务。
Kettle9.4版本 Pentaho Data Integration 9.4 PDI 9.4
10-26
Kettle 改名啦！！！ 现在叫 Pentaho Data Integration Kettle9.4版本 Pentaho Data Integration 9.4 PDI 9.4 下载地址： https://www.hitachivantara.com/en-us/products/pentaho-platform/data-integration-analytics/pentaho-community-edition.html https://sourceforge.net/projects/pentaho/
Kettle入门之四 Kettle定时任务（后台任务）
qq_36688928的博客
05-31 1万+
转自：https://www.jianshu.com/p/7e9a02dec8d2 ETL工具kettle怎么做定时任务:https://blog.51cto.com/13602563/2165116 kettle执行定时任务,使用pan.bat和kitchen.bat:https://blog.csdn.net/huiweizuotiandeni/article/details/543...
kettle(PDI)安装使用过程，并部署到Linux下执行定时作业
路的博客
08-12 5455
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、kettle是什么？二、使用步骤1.下载kettle及MySQL依赖2.解压缩下载的pdi压缩包3.创建一个简单的转换4.Linux安装kettle总结 前言 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！ 本文
Kettle之定时运行Job
fang.lovest.yang的博客
03-24 1万+
Kettle做定时任务有两种方式。 第一种是kettle自带的Start控件，缺点是kettle程序必须始终运行，浪费内存。 第二种是使用系统的定时功能。使用Kitchen、Pan命令编写bat、sh脚本，然后使用windows任务计划或者linux的crotab实现定时执行执行脚本。 （一）Start控件执行定时任务 我们需要建立一个job，来让转换定时执行。 操作步骤 1、运行软件，进入主界面。点击左上角的 文件 → 新建 → 作业(J)新建一个作业（job），并...
精选资源
PDI.pptx Kettle的Spoon使用教程（包括carte,pan,kitchen）
12-03
1. **Kitchen**：命令行工具，用于执行Spoon生成的Job，后台运行，无图形界面。 2. **Pan**：同样为命令行工具，执行Transformation，后台运行，无图形界面。 3. **Carte**：轻量级Web服务，允许远程执行Job和...
kettle在linux定时任务_linux环境下kettle部署（JDK安装配置，kettle安装配置，资源库配置，定时执行job）...
weixin_29556943的博客
12-31 382
一.部署准备1.1 java安装(略)1.2 JDK配置1.命令行键入“cd /etc”进入etc目录2.命令行键入“vi profile”打开profile文件3.敲击键盘ctrl+F到文件末尾4.在末尾处，即第一个~的地方，敲击键盘将以下内容输入到文件exportJAVA_HOME=/usr/java/jre1.6.0_45exportPATH=$J...
Linux上部署kettle及定时执行
weixin_41443565的博客
08-14 3668
1）最新版本下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html。3）安装webkitgtk rpm包 ，执行 ：yum install webkitgtk，安装成功后，再执行./kitchen.sh，警告消失。创建test.sh，将以下内容复制粘贴到里面，然后键入“chmod +x /mnt/kettle/*.sh”，赋予test.sh执行权限。键入“./crond restart”，重启crond服务。
Kettle 定时任务 详细教程
weixin_68547003的博客
01-29 7267
Kettle 定时任务 详细教程
kettle 9.4 版本 无需积分
最新发布
03-20
数据库同步工具
Pentaho Kettle 9.4
08-21
Pentaho Kettle 9.4
官方kettle最新9.3下载百度云
05-16
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行， 数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制
kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包
06-05
kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包
Pentaho PDI用Kitchen自动运行job
数据之路
09-27 574
脚本如下，其中文件路径是比较tricky的地方，在windows下要这样写：/file:D:\AA\bbb\，全部连在一起没有空格，前面的参数是/file跟网上写的不同，我用的是PDI 7.1 以下为bat文件内容： ---------------------------- D: cd "\data-integration" call kitchen.bat /file:
【Kettle从零开始】第九弹之Kettle定时任务介绍
热门推荐
RotKang
03-11 2万+
在数据仓库环节ETL定时任务是一个必不可少的一个环节，因为定时任务取决与你的ETL程序抽取业务数据的频率程度(日、周、季、月、年)，一般情况下都采用T+1方式来抽取数据。 关于Kettle定时任务需要调用脚本来执行“作业”与“转换”对应脚本名“Kitchen”与“Pan”，如果是NT系统则找.bat结尾，Liunx系统则找.sh结尾相应脚本。   需求说明：默认情况下采用T+1方式抽取数据到
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 566
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle 9.4和Pentoho 9.4下载及安装方法简介
hsg77的专栏
03-15 5251
kettle 9.4和Pentoho 9.4下载及安装方法简介
kettle9.4.0.0-343
csdnuser267的博客
06-19 1799
pdi-ce-9.4.0.0-343 kettle9.4
kettle定时任务进行每天传送
01-23
### 配置Kettle定时任务实现每日自动数据传送 为了使Kettle能够按照设定的时间间隔定期执行特定的任务，通常会借助操作系统级别的调度工具来触发Pentaho Data Integration (PDI)即Kettle中的转换或作业。对于Windows环境而言，可以利用任务计划程序(Task Scheduler)，而在Linux/Unix环境下，则更倾向于采用Cron Jobs。 #### 使用Windows任务计划程序配置Kettle定时任务 创建一个新的基本任务，在触发器选项卡指定启动时间为每天固定时刻，并勾选重复此任务直到完成一天的选择框以便于灵活调整频率；接着切换到动作标签页点击新建按钮并浏览定位至`pan.bat`或是`spoon.bat`文件路径下——这取决于要运行的是单独的转换还是整个作业流程[^2]。如果目标是调用已保存的具体`.ktr`(Transformation) 或者 `.kjb`(Job) 文件的话，那么还需要进一步向命令行参数里追加相应的绝对地址作为输入项传递给批处理脚本解释器去解析执行。 ```batch "C:\Program Files\Pentaho\data-integration\pan.bat" /file:"D:\MyTransformations\example.ktr" ``` 上述实例展示了怎样通过命令提示符指令让位于自定义目录下的某转换得以周期性激活的方式之一。 #### Linux/Unix环境中运用Crontab管理Kettle自动化进程 编辑用户的crontab文件以增加一项新的定时任务条目： ```bash crontab -e ``` 随后添加如下格式的一行记录用于表达每晚凌晨两点整准时唤醒后台服务端口监听状态下的Kettle引擎进而驱动预设好的ETL过程运转起来: ```bash 0 2 * * * sh /path/to/data-integration/kitchen.sh -file=/home/user/myjob.kjb >> /var/log/kettle.log 2>&1 ``` 这里假设选用`kitchen.sh`而非`spoon.sh`是因为前者更适合用来控制Jobs而后者主要面向图形界面交互式的开发调试场景。日志重定向部分确保任何标准输出以及错误信息都被妥善收集存档供后续审查之需。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值