kettle使用总结-定时系统

最新推荐文章于 2023-01-11 23:28:49 发布
原创 最新推荐文章于 2023-01-11 23:28:49 发布 · 253 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种方法，通过SQL语句格式化来获取并转换系统时间，仅保留小时部分。此外，还讨论了如何添加检验控件，根据特定操作决定不同的执行路径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

 1、添加获取系统时间的转换，在装换中配置sql语句读取数据库时间（sql语句格式化，仅保留小时）

2、添加检验控件，操作4（点），走线路1，否则走线路2

Kettle系列（二）smart-kettle本地离线部署
最强菜鸟
08-14 4515
kettle先说明一下什么是kettle，相信做过数据清洗的观众应该对这个工具不陌生，它是用于数据清洗的很常见的开源的工具，官方的解释如下Kettle 是一款国外开源的 ETL 工具，纯 Java 编写，绿色无需安装，数据抽取高效稳定 (数据迁移工具)。Kettle 中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。通俗点讲就是一个平时用于数据治理方面的工具，例如数据同步、数据迁移、数据清洗等。
kettle基础入门(二)kettle定时任务执行
etl菜鸟
03-17 1万+
kettle定时操作详细步骤，避免小白各种踩坑
Kettle用法之定时任务
helloworldchina的博客
01-11 6379
前面讲述了kettle调用Restful API接口，当时只生做了一个转换，本文提到的定时任务将调用上文做的转换。
ETL工具kettle怎么做定时任务
weixin_34255793的博客
08-27 2190
kettle做定时任务平时任务中经常需要用两种方法；一、kettle自带的功能。具体操作如下：首先形成一个job，然后点击开始组件；结果如图：当需要定时时，那么就是需要重复；此时勾选重复选项，然后点击类型下拉选选择你需要定时的类型，如时间间隔，天，周，月；如果选择时间间隔，意味着你每隔多长时间执行一次，单位是分秒，自行选择。如图当选择了天，那么就是意味着在每天的几点执行，如图当选择了周，就意味这是...
kettle执行SQL脚本
s1162276945的博客
06-09 9244
kettle设置参数
kettle中执行sql语句
andyzhaojianhui的专栏
12-16 3万+
一、直接执行sql，不添加任何参数 1.先找出执行sql语句的控件 2.打开控件，填写要执行的sql语句，主要下图中的红框中选项，后面会介绍各个选项的作用 二、执行sql，使用kettle中的变量（如${report_time}）变量替换选项 该方式用到了变量替换选项，替换sql语句中的${}变量 三、执行sql，执行每一行选项 该选项可以接收上一步骤中
Kettle:执行SQL脚本
读万卷书 行万里路
11-17 1万+
【执行SQL脚本】可以允许以以下两种方式来使用： 在转换的开始阶段，执行一次SQL脚本 对传入该步骤的每一行数据执行一次SQL脚本 假设数据库表full_sou在rce和full_target中的数据如图1: 图1 创建只有一个【执行SQL脚本】操作的转化，其配置如图2。运行该转换可以将这两个表一起清空(图3)。 图2 图3 除了上述这种方法之外，也可以使用转换(图4)，其中【自定义常量】和【执行SQL脚本】的配置图5和图6： 图4 图5 图6 另外在【执行SQL脚本...
pentaho-kettle-8.3
12-30
在源码层面，Pentaho Kettle 8.3 使用 Java 编写，遵循 Model-View-Controller (MVC) 设计模式。开发人员可以通过源代码深入了解其内部工作原理，进行定制化开发或扩展功能。源码包含了核心库、GUI 组件、插件框架等...
kettle-manager集成web页面调度
06-05
1. **定时任务**: 可以使用Quartz等调度库与Kettle结合，定期触发作业执行。 2. **日志和异常处理**: 确保所有操作都有日志记录，并处理可能出现的异常情况，例如作业失败时的邮件通知。 3. **监控与报警**: 实现...
ETL工具pdi-7.1.0.0-12（Kettle）.zip
05-28
总结，PDI（Kettle）作为一款强大的ETL工具，其灵活性、易用性和高效性在数据处理领域备受青睐。通过掌握PDI的使用，我们可以有效地实现数据的提取、转换和加载，为数据分析和业务决策提供强有力的支持。
sql server定时作业调用Kettle job出错的快速解决方法
09-09
总结来说，当SQL Server定时作业调用Kettle作业时出现错误，原因可能与文件路径的配置有关，特别是在使用相对路径时。解决方法是将.kettle的配置文件夹从默认用户目录复制到以system32管理员权限运行的目录下，确保...
kettel循环执行动态sql
03-01
kettel循环执行动态sql，
ETL高级教程
shenxiangl
01-28 858
ETL高级教程     在昨天的帖子里面，我介绍了一些ETL初级的东西，不知道大家是否已经掌握，我现在介绍一些Kettle应用中，比较有帮助的一些地方。 1，Kettle跨平台使用。     例如：在AIX下（AIX是IBM商用UNIX操作系统，此处在LINUX/UNIX同样适用），运行Kettle的相关步骤如下：     1）进入到Kettle部署的路径     2）执行 chmod *....
Kettle 作业步骤循环执行的实现
热门推荐
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
10-25 6万+
场景：User_Tables存放着系统用户的表信息，其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表，使用Kettle实现循环执行这些表。 例如统计表A、B的总行数： SELECT COUNT(1) FROM A； SELECT COUNT(1) FROM B; 这些SQL语句除开表名外，其他部分都是一样的，所以在使用KETTLE抽取数据
kettle定时任务
LVEVIL的博客
10-24 6462
Kettle定时提取数据 一、 建立转换 建立转换  选择转换  拖拽“表输入”、“表输出”控件，长按shift将两个控件连接起来 ① 双击“表输入”，点击新建，输入要抽取的数据库的信息，如图1，点击测试显示连接成功，点击确定保存信息。 图1 ② 在SQL面板中插入抽取数据库的语句进行筛选，如图2。点击预览显示提取的数据，如图3。如有可预览数据点击“确定”。 图2 图3 ③双击“表...
Kettle的执行sql脚本的组件
Jackie的博客
12-01 5340
Kettle的执行sql脚本的组件要是下面的上边sql会报错误,无法保存成功,下面的下边sql就能保存成功,这个组件对于sql是有限制的!!! UPDATE DSJYDD.T_CSKQZLFX_DQST_YLTS B SET B.YLTS = ( SELECT C.YLTS FROM ( SELECT COUNT(*) YLTS,A.CITYCODE FROM TENV.AIR_CITY
Kettle的使用（八）：执行SQL脚本文件
何止是执迷不悟
12-22 2726
这个操作非常简单，直接操作。 具体步骤： 1.建立转换 2.设置 3.保存运行 4.在数据库中查看
Kettle之【执行SQL脚本】控件用法
chenyiming2010的博客
09-14 1万+
版本：kettle6.1 控件：执行SQL脚本   该控件可以执行一个update语句，用来更新某个表中的数据， 如果不带条件，就很简单，把SQL语句粘贴到控件中，设置好数据库连接即可 如果需要带条件执行，则需要进行一些设置。入下图，是一种常用的设置方法 需要设置的地方有： 1、勾选“变量替换” 2、勾选“执行每一行?” 3、勾选“Bind parmaters?” 4、在whe...
windows系统中kettle如何设置定时运行
最新发布
03-22
<think>嗯，用户想知道在Windows系统中配置Kettle定时运行的方法。我需要先整理一下已有的引用信息，看看有什么相关的资料。引用里提到有两种方法：一种是使用系统的定时任务功能，通过编写bat脚本然后利用Windows任务计划；另一种是在Kettle Spoon里创建带参数的定时任务，但需要在服务器后台运行。 首先，用户可能需要一个分步骤的教程，所以应该分点说明。根据引用[2]和[4]，使用Windows任务计划是常见的方法，需要编写bat脚本调用Kitchen或Pan命令。然后设置任务计划程序来定时执行这些脚本。这部分需要详细说明bat脚本的写法，包括路径配置和参数传递，比如转换或作业文件的路径，日志输出等。 另外，引用[3]提到在Spoon中创建定时任务，但实际应用中需要在服务器后台运行。可能用户有需求在图形界面设置定时，但需要注意这种方式可能不适合生产环境，更适合测试。这里需要指出两者的优缺点，比如GUI方式可能依赖界面，而任务计划更稳定。 还要注意Java环境的安装，引用[4]提到需要JDK8，所以应该提醒用户检查Java环境是否正确安装，否则Kettle无法运行。 可能用户对命令行参数不熟悉，需要给出具体的例子，比如Kitchen.bat -file=作业路径 /level:Basic。同时，日志输出路径的设置也很重要，方便后续排查问题。 另外，安全性方面，可能需要提醒用户如果作业有参数，比如数据库密码，应该使用加密方式存储，避免明文写在脚本里。引用[3]提到带参数的定时任务，这里可能需要说明如何在命令行中传递参数，或者在作业里使用变量。 最后，比较两种方法的优缺点，帮助用户根据实际情况选择。例如，任务计划更灵活，适合复杂调度；而Spoon的定时任务可能适合简单的测试场景。 总结下来，回答应该分两部分：任务计划配置和Spoon GUI配置，每部分详细步骤，注意事项，以及优缺点比较。同时，确保LaTeX格式正确，行内公式用$，独立公式用$$，但这个问题可能不涉及数学公式，但需要检查是否有需要的地方。比如路径中的变量可能需要用代码块而不是公式。确保所有引用正确标注，比如使用Kitchen命令的部分引用[2]，任务计划引用[4]等。</think>在Windows系统中配置Kettle定时运行，主要有两种方法：通过Windows任务计划程序调用脚本，或使用Kettle Spoon内置的定时任务功能。以下是具体配置教程： --- ### 方法一：Windows任务计划程序（推荐生产环境使用） #### 步骤1：编写批处理脚本（.bat） 创建包含Kettle命令的bat文件，示例内容如下： ```bat @echo off cd /d "C:\kettle\data-integration" Kitchen.bat -file="D:\kettle_jobs\daily_etl.kjb" -level=Basic >> "D:\logs\kettle.log" ``` - `Kitchen.bat`：用于执行作业（若执行转换则用`Pan.bat`）[^2] - `-file`：指定作业/转换文件路径 - `-level`：设置日志级别（Basic/Debug等） - `>>`：将日志输出到指定文件[^4] #### 步骤2：配置Windows任务计划 1. 打开**任务计划程序**（搜索`taskschd.msc`） 2. 创建新任务： - **常规**：命名任务，勾选"不管用户是否登录都要运行" - **触发器**：设置定时规则（如每天凌晨2点） - **操作**：选择"启动程序"，指定bat文件路径 - **条件**：取消"仅在接通电源时运行" --- ### 方法二：Kettle Spoon GUI定时（适合测试环境） #### 步骤1：在Spoon中配置定时 1. 打开作业文件，右键作业项选择**定时** 2. 设置参数： - **开始时间**：首次执行时间 - **重复间隔**：按分钟/小时设置频率 - **重复次数**：设置固定次数或无限循环[^3] #### 步骤2：后台运行配置 ```bat cd C:\kettle\data-integration Spoon.bat /rep:my_repository /user:admin /pass:password /dir:/ /job:daily_etl ``` - 需配合`/rep`指定资源库，或使用`-param:`传递参数[^3] --- ### 注意事项 1. **Java环境**：确保已安装JDK8并配置`JAVA_HOME`环境变量[^4] 2. **路径规范**：所有文件路径避免包含空格或中文 3. **权限配置**：任务计划程序需使用有执行权限的账户 4. **参数加密**：敏感参数建议使用Kettle的密码加密功能 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值