
kettle
HD243608836
这个作者很懒,什么都没留下…
展开
-
kettle教程(1) 简单入门、kettle简单插入与更新与kettle定时器。
本文要点:Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。 Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT转载 2018-02-03 21:28:42 · 5171 阅读 · 0 评论 -
kettle在job视图中两个步骤间连线黄锁和对号的区别。
kettle在job视图中两个步骤间连线黄锁和对号的区别。在连接两个步骤的时候 连线上的图标类型有三种:红色就不做说明了;黄锁,将鼠标放到锁上会提示:“this is an unconditional hop that means tha regardless of the execution result of 'start' the next job转载 2018-02-07 16:30:24 · 6274 阅读 · 0 评论 -
Kettle中文文档汇集
BI Kettle中文文档汇集 ELT平台操作手册-KETTLE.pdf ETL工具kettle.pdf etl工具kettle公司学习文档.pdf ETL工具kettle学习总结.pdf ETL工具Kettle用户手册3.0.pdf ETL工具Spoon 2.5.0用户手册.pdf KETTLE.pdf kettle_使用中的一些常转载 2018-02-06 05:02:19 · 12992 阅读 · 7 评论 -
Kettle 作业步骤循环执行的实现
场景:User_Tables存放着系统用户的表信息,其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表,使用Kettle实现循环执行这些表。例如统计表A、B的总行数:[sql] view plain copySELECT COUNT(1) FROM A; SELECT COUNT(1) FROM转载 2018-02-06 04:50:42 · 1492 阅读 · 0 评论 -
用Kettle的一套流程完成对整个数据库迁移
需求: 1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。 2.你是否还在使用kettle重复的画着:表输入-表输出、创建表,而烦恼。 下面为你实现了一套通用的数据库迁移流程。 技术引导: 实现之初,在kettle提供的例子中找到了一个类似的(samples\jobs\process all tables)。 通过相关改造,终于达到目标。转载 2018-02-06 04:49:12 · 726 阅读 · 0 评论 -
Kettle的使用分享(重点是看:“常用组件介绍”的官方链接)
(重点是看:“常用组件介绍”的官方链接,具体讲解了每个页面每个功能项的作用)一、下载与安装下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 将下载的zip文件解压到任意路径(最好是英文不带空格的路径,以免引起乱码等未知问题) 文件结构:(不包括打马赛克的文件转载 2018-02-06 02:16:45 · 5087 阅读 · 1 评论 -
KETTLE“设置变量“、”变量赋值”"和“自己定义JAVA代码”的实例应用(kettle动态excel文件名需要重点参考看1.1.4)
(kettle动态生成excel文件名,需要重点参考看1.1.4)我也是找了一天了,各位觉得有用的点个赞!给我继续分享的动力!1 kettle.properties參数配置数据源连接和FTP连接因为測试环境和生产环境中数据库连接FTP等配置会在部署过程中变更,所以预先定义成配置项,在配置文件里改动。这样測试和公布将会变得简单,以下以数据库为例说明这类配置的使用转载 2018-02-06 00:59:33 · 11862 阅读 · 0 评论 -
kettle中全局变量的设置与获取(使用“获取变量”功能项)
设置全局变量。 找到.properties文件:在文件中设置值:在kettle中新建一个job(不用做任何设置):转换中获取便元的设置:重启kettle的执行结果:转载自:http://www.cnblogs.com/kongxc/p/6256191.html转载 2018-02-06 01:08:57 · 17633 阅读 · 0 评论 -
kettle环境变量的设置和获取
1. 变量的类型Kettle 的早期版本中的变量只有系统环境变量目前版本中(3.1) 变量包括系统环境变量, "Kettle变量" 和内部变量三种系统环境变量的影响范围很广,凡是在一个 JVM下运行的线程都受其影响.Kettle 变量限制了变量的作用范围, 变量范围包括三种分别是 grand-parent job, parent job, root job内部变量:转载 2018-02-06 01:04:26 · 2750 阅读 · 0 评论 -
kettle动态抽取变量表名表
背景:ods平台的一个很简单的数据抽取需求:上游系统有一个月表,每个月出上个月数据并放在新建的月表里。例如:20150401出3月份表和数据 TB_B_FT_BROADBAND_201503,20150501出4月份表和数据 TB_B_FT_BROADBAND_201504。而ods需要每月初等他们数据出来后再抽取过来。需求很简单,用转载 2018-02-06 01:02:53 · 4883 阅读 · 0 评论 -
Kettle实现循环有两种方式
Kettle实现循环有两种方式:一种是在Job中引用Transformation时,可通过设置Transformation 的高级属性(”执行每一个输入行”)来实现Transformation 的循环,具体例子可以参考下面的链接:Kettle实现Transformation 循环及跳出另一种方式是通过job中的"Evaluatiing Javascript" 和 "校验字段的值"两个控件实现循环,...转载 2018-02-09 15:46:08 · 2625 阅读 · 0 评论 -
kettle根据参数动态派生列(也可用js脚本动态派生列)
kettle根据参数动态派生列(也可用js脚本动态派生列,这里就不介绍了)抽取数据的时候没有日期字段,需要根据抽取日期自动生成月份,如下图结构表输入_参数部分,接收来自其他系统传过来的参数(JAVA程序或者页面),具体设置如图在查询数据时候派生列运行模型的时候,给参数赋值 测试查看生成的数据,是否派生了一个monthkey的字段,值为201310转载 2018-02-05 02:23:59 · 934 阅读 · 0 评论 -
完美解决Kettle导数据库产生的中文乱码
如果公司内一开始没有好好规划数据库建设,那么后期可能存在多种字符集的数据库实例。在做数据仓库或者来回导数据的时候,因字符集导致中文乱码问题困扰着不少人。网上有很多前辈们总结的解决中文乱码的方案,关于使用kettle如何解决也有一两篇谈到在建数据库连接时加characterEncoding来解决。我昨晚找到另外一种方式来跟大家分享: 经过对源码搜索”encoding“,找一句注释,发转载 2018-02-05 01:09:53 · 15198 阅读 · 0 评论 -
示例学习kettle之ExcelWriter步骤
ExcelWriter步骤可以向excel模板文件中填写内容的一种方法,并且可以往同一文件的不同sheet中写内容。本文通过示例详细讲解,通过一个转换生成报表。ExcelWriter步骤是kettle4.1以上版本才有,同时我们也使用“Block until steps finish”步骤(kettle4.1版本有),如果你使用版本是3.2或4.0,就使用自定义javasc步骤代替。本文的翻译 2018-02-04 19:12:10 · 801 阅读 · 0 评论 -
【kettle】10分钟搞定kettle源码部署
作者:lianghc 很多人都用kettle做ETL,并且一直想接触kettle源码,却卡在怎么把源码跑起来这坑上了,我就是这中情况。今天(20161101)我得到一个大神的帮助顺利将源码部署到myeclipse中。在此感谢大神:qq群 (Kettle俱乐部 227385701) 群中的 “成都-空山苦水禅人”,十分感激。在大神帮我部署成功后我整理了下部署步骤。自己重新试了一遍转载 2018-02-07 16:34:32 · 827 阅读 · 0 评论