
kettle
文章平均质量分 71
羊子雄起
欢迎大家多多交流
展开
-
Kettle调用Java文件(Jar包)
Kettle的脚本–>Modified Java Script Value不仅可以写js代码来处理数据,也可利用这个组件调用已经写好的Jar文件。 第一步、准备java项目。 在IDE中新建java项目,并写好相应的处理逻辑。 将写好的java项目,导出成jar包,放到kettle的lib或者libext文件夹内(注意:项目内引用的jar包,若kettle中不存在,也要一并转载 2017-11-08 11:22:38 · 6796 阅读 · 0 评论 -
kettle mongoDB时间格式查询
今天发现mongo中能采用时间{T:1,QS:{"$nin":[null]},AT:{'$gte':new Date("2017/11/01 13:36:45")}}查询;但在kettle中会报错,报错如下:解决办法:{T:1,QS:{"$nin":[null]},AT:{'$gte':{"$date":"2017-11-01T05:36:45Z"}}}原创 2017-11-01 19:38:04 · 3346 阅读 · 0 评论 -
kettle中调度kitchen.bat定时执行任务
转自:http://f.dataguru.cn/thread-178515-1-1.html本周项目上用到了kettle并且需要做任务调度,听老师说用kettle自带的调度不大稳定于是便baidu了下,参照这篇文章完成了通过kitchen的调度,简单说就是通过windows的计划任务来调用.bat的批处理文件来开始kettle作业。转自:http转载 2017-10-26 14:12:53 · 2181 阅读 · 0 评论 -
【Kettle从零开始】第八弹之Kettle变量参数传递介绍
对于ETL参数传递是一个很重要的环节,因为参数的传递会涉及到业务数据是如何抽取。下面我为大家举例一个简单的需求。需求说明:需要抽取昨天的数据装载到目标表中。 1、 参数作用域?答:Kettle中参数大致可分为两类:一类是全局参数,一类是局部参数。 2、 参数如何定义?答:A:全局参数定义是通过当前用户下.kettle文件夹中的ke转载 2017-10-25 18:57:38 · 17431 阅读 · 0 评论 -
kettle与MongoDB的数据操作
最近有一个调优的项目设计到MongoDB数据转移到Mysql库进行数据分析。以下是利用kettle对数据的转换的介绍:1:MongoDb的查询: 主要是基于json格式:具体的查询可以见连接MonGoDb的查询语句。 数据集是 由于带有时间戳timestamp,可以在kettle中基于时间戳对其增量读取。2:kettle对于这种非关系型的转载 2017-10-25 18:20:49 · 13698 阅读 · 0 评论 -
ETL工具kettle实现循环
1. 实现循环(1) 作业图(2) 转换图:获取数据_变量(3) 转换图:获取数据_查询(4) 得到数据表的主键ID,复制记录到结果中(5) Javascript脚本处理(6) 循环控制器(7) Regiondetail的第一个值的查询 (8) 将查询得到的结果输出到excel,变量作为文件名(9) 逐次循环,依次改变regiondetai转载 2018-01-02 16:14:24 · 11075 阅读 · 0 评论 -
kettle源码安装及Spoon启动界面修改
近期工作中涉及到了kettle,之前没有接触过,于是上网查资料、咨询别人,折腾了几天才把源码在eclipse中跑起来,并且修改了Spoon启动界面以及主界面的一些配置。现将过程中遇到的一些问题记录下来,以供参考。一、源码部署源码下载地址发行版下载地址源码安装过程中主要参照了下面的博文:10分钟搞定kettle源码部署需要注意的地方:1.由于下载的是最新版本的源码,采用的...转载 2019-07-01 19:48:07 · 2186 阅读 · 0 评论