kettle定时调用（linux）

最新推荐文章于 2025-05-21 14:13:28 发布
最新推荐文章于 2025-05-21 14:13:28 发布
阅读量934 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： spoon linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuzhangweiss/article/details/79841803
本文介绍如何在Ubuntu 16系统中设置Kettle定时执行任务，包括配置Java环境变量确保crond服务能正确调用Java命令，以及通过crontab设置具体的定时任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

export JAVA_HOME=/opt/software/java/jdk/jdk1.7.0_79
export JRE_HOME=/opt/software/java/jdk/jdk1.7.0_79/jre
export CLASSPATH=.:CLASSPATH:CLASSPATH:JAVA_HOME/lib:JREHOME/libexportPATH=JREHOME/libexportPATH=JAVA_HOME/bin:JREHOME/bin:JREHOME/bin:PATH
/opt/software/kettle/data-integration/kitchen.sh -file=/opt/software/kettle_data/test.kjb > /opt/software/kettle_data/logkjb.txt

前四行，设置java环境变量，否则crond找不到java命令，无法正常执行脚本。

在终端上输入crontab -e
在文件最后一行添加一行代码
0 18 * * * /opt/software/kettle/kettle_data/testKjb.sh

然后Ctrl+X 离开并保存
接着sudo service cron restart 回车
等到18点钟时kettle作业正常被调用。

sudo service cron start //启动服务
sudo service cron stop //关闭服务
sudo service cron restar //重启服务

注意*：由于我使用ubuntu16这个发行版本，所以这个版本好像不能用sudo service crond restar这个命令

Kettle【实践 01】Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）
Java与大数据相关实践内容分享！
07-15 1592
Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理（完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源）
linux centos环境kettle部署与定时作业执行
01-23
linux centos环境kettle部署与定时作业执行，由于其他相关安装包资源较大，所以分开上传
kettle之linux使用kettle
weixin_30252709的博客
02-26 2273
Kettle可以在Window、Linux、Unix上运行，数据抽取高效稳定，使用之前需要准备环境。 准备java环境，这里就不赘述了，建议jdk7以上版本。 上传kettle压缩包，并解压，我解压的路径是/usr/soft/kettle 以下是重点： 确保kettle脚本可执行权限 使用命令查看文件权限 ls -l /data-integration 如图：  如果没有执行权限，执行以下...
在linux部署定时执行Kettle任务
最新发布
weixin_38032826的博客
05-21 567
【代码】在linux部署定时执行Kettle任务。
Linux部署kettle并设置定时任务
weixin_51296247的博客
09-06 6383
Linux部署kettle并设置定时任务
Linux使用kettle
探索丶挑战丶突破
09-09 628
Linux部署运行Kettle 来执行《工作》和《作业》文件的详细步骤及"踩坑""填坑" 转载于：https://blog.youkuaiyun.com/zzq900503/article/details/79110810
linux上使用kettle
ddddddd1111111的博客
11-22 1151
Kettle可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定，不过在使用之前需要准备环境。kettle是一款纯java编写的开源ETL工具，需要jdk环境支持 一：安装jdk 1：下载安装jdk 连接地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.ht...
kettle任务在Linux服务器上定时调度
Jmayday
01-11 5530
1、首先需要在linux上安装kettle，并且设置相关的环境变量 2、本地windows上新建转换，并测试结果 3、新建作业，测试是否成功 4、
linux调用kettle所用到的自动化脚本 kettle_linux.sh
06-12
kettle在linux状态下调用的脚本文件，自动化，一键运行，便于实施。
sql server定时作业调用Kettle job出错的快速解决方法
09-09
当定时作业需要调用Kettle（又称Pentaho Data Integration，PDI）转换作业时，可能会遇到错误。本文将介绍在SQL Server定时作业调用Kettle转换作业时出现错误的快速解决方法，这些方法对于解决相关问题具有参考价值...
Linux部署 kettle
haolinbird的博客
11-03 502
目标 linux下使用crond定时执行kettle的job部署 配置 JAVA 环境 1. 官网下载JRE https://www.oracle.com/java/technologies/javase-server-jre8-downloads.html (JDK 步骤相同：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html) 2. 安装 JAVA # 解压 jdk tar -xvf jdk-8u271-l
Kettle在Linux的安装使用
04-28
Kettle在Linux的安装使用，很珍貴哦，需要金币下载，啦啦啦
Linux下部署kettle7.0
03-22
关于kettle7.0在Redhat和centos中部署的相关操作
linux部署 kettle （超详细）
11-13
linux部署 kettle (图文步骤，超详细)
linux安装kettle
yylhm1125的博客
10-15 449
kettle安装包是解压版的，所以windows和linux是同一个安装包。解压安装包直接执行启动即可。
Linux下的kettle使用
a80C51的博客
03-14 1461
目录 一，部署 1st 创建目录 2nd 验证安装 二、结合crontab运行kettle 1st 编写运行脚本 2nd 赋予执行权限 3rd 编写crontab 4nd 执行如下命令启动crontab 备注 一，部署 1st 创建目录 mkdir /data/kettle unzippdi-ce-5.0.1-stable.zip cd ./data-integ...
linux下部署和执行kettle——（配置文件、动态获取、后台执行）
热门推荐
但行好事，莫问前程
09-05 3万+
一.部署准备 1.1 java安装（略） 1.2 JDK
Linux环境部署Kettle
梦幻通灵
08-11 5387
最近遇到了在linux上部署kettle进行数据库的同步，源库是oracle，目标库是mysql，
Linux下部署kettle并配置定时调度
qq_44943273的博客
07-14 4343
linux部署kettle并配置定时调度
kettle定时抽取
03-29
<think>好的，我现在需要帮助用户了解如何使用Kettle实现定时数据抽取。根据用户提供的引用内容，特别是引用[3]提到了全量抽取和定时增量操作，我需要结合这些信息来构建答案。 首先，我应该先梳理Kettle定时数据抽取的基本步骤。用户可能已经知道如何使用Kettle进行数据抽取，但需要配置定时任务。根据引用[3]，全量抽取需要SQL语句和表输出配置，而定时增量则需要etl时间字段。因此，定时任务可能需要结合这些步骤，并添加调度功能。 接下来，我需要确定Kettle中实现定时任务的方法。常见的方法有使用操作系统的定时任务工具（如crontab或Windows任务计划程序）来执行Kettle的作业，或者使用Kettle自带的“定时”组件。引用[2]提到重新安装Kettle后成功转换抽取，可能涉及作业的正确配置，因此需要详细说明两种方法。 然后，我应该分步骤说明配置过程。例如，创建转换和作业，设置定时器，或者配置操作系统的任务计划。需要确保用户能够按照步骤操作，并注意可能的常见问题，比如路径设置、日志记录等。 另外，引用[1]提到多库数据同步的情况，用户可能需要增量抽取。因此，在教程中应该区分全量和增量抽取的配置差异，比如SQL语句中添加时间戳条件，并引用[3]中的etl_datetime字段。 最后，生成相关问题，帮助用户进一步学习。问题可能涉及增量抽取的具体实现、日志管理、错误处理等，这些都需要基于提供的引用内容来设计。 现在需要确保回答结构清晰，步骤明确，并且引用正确。同时，按照用户的要求，使用中文，LaTeX格式正确，添加引用标识，并生成相关问题。</think>### 如何使用Kettle实现定时数据抽取？ #### 1. **准备工作** - 确保已安装Kettle（现称Pentaho Data Integration）并完成数据源连接配置（如数据库驱动、文件路径等）。 - 创建基础转换：定义数据抽取逻辑（如从源表读取数据并写入目标表）。例如： ```sql -- 源数据抽取SQL（含增量时间戳） SELECT * FROM source_table WHERE update_time > '${ETL_DATE}' ``` 引用[3]中提到需添加`etl_datetime`字段以支持增量操作[^3]。 #### 2. **创建定时作业** - **方法1：使用Kettle自带定时器** 1. 新建作业（Job），添加**Start**组件和**Transformation**组件。 2. 右键点击**Start**组件 → **Schedule** → 勾选**Repeat every**，设置间隔时间（如每分钟、每小时）。 ```plaintext [Start] → [Transformation] → [Success] ``` 3. 保存作业并运行，定时任务将自动按配置执行[^3]。 - **方法2：操作系统任务调度（推荐生产环境）** 1. 编写命令行脚本执行Kettle作业： ```bash pan.sh -file=/path/to/your-job.kjb ``` 2. 使用**crontab**（Linux）或**任务计划程序**（Windows）定时调用该脚本。例如每小时执行一次： ```bash 0 * * * * /path/to/pan.sh -file=/path/to/your-job.kjb ``` 引用[2]提到需注意环境变量和路径配置[^2]。 #### 3. **增量抽取配置** - 在转换中通过**表输入**组件动态传入时间参数（如`${ETL_DATE}`），结合数据库时间戳过滤增量数据。 - 使用**Set Variables**组件在作业中更新全局变量（如`ETL_DATE`），记录最后一次抽取时间。 #### 4. **日志与错误处理** - 在作业中添加**Write to Log**组件记录执行状态。 - 配置**Abort**或**Error Handling**组件处理异常，避免任务中断。 --- ### 配置示例 ```plaintext [Start] → [Set ETL Date] → [Transformation] → [Update ETL Date] → [Success/Error Handling] ``` - **Set ETL Date**：初始化时间变量。 - **Update ETL Date**：任务完成后更新全局时间变量为当前时间。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值