
Kettle
文章平均质量分 53
艾伦蓝
Just do it
展开
-
Java kettle程序执行 kettle文件
[size=medium][color=red]Java执行本地ktr文件和kjb文件[/color][/size][code="java"]package com.cmbchina.mms.comm.kettle;import java.io.File;import org.pentaho.di.core.KettleEnvironment;import org....原创 2015-07-16 15:04:48 · 201 阅读 · 0 评论 -
kettle 命令行运行作业(kitchen)和转换(pan)以及一路下来编写的例子
ze][size=small][b]1.Kitchen——作业执行器[/b][/size]是一个[color=blue]作业[/color]执行引擎,用来[color=red]执行作业[/color]。这是一个命令行执行工具, 参数说明如下1) -rep:Repositoryname 任务包所在存储名2) -user:Repositoryusername 执行人3) -pass:Repositorypassword 执行人密码4) -job:Thenameofthejobtola原创 2015-11-17 10:34:55 · 452 阅读 · 0 评论 -
Kettle 合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
比较、合并。[/color][/size]需要设置的参数:旧数据来源:旧数据来源的步骤新数据来源。新数据来源的步骤标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。[color=blue]1. “identical” – 旧数据和新数据一样2. “changed” – 数据发生了变化;3. “new” – 新数据中有而旧数据中没有的记录4. “deleted” –旧数据中有而新数据中没有的记录[/color]原创 2015-09-24 14:40:20 · 252 阅读 · 0 评论 -
Kettle 流查询,数据库查询和Merge Join的区别
在查询之前把数据都加载到内存里,数据库查询可以选择是否把数据加载到内存。[/color] •进行等值查询时,数据库查询步骤如果选中了全部缓存,性能接近但仍不如流查询的性能。 •进行等值查询时,数据库查询步骤如果没选中全部缓存,性能较低,每次查询都要向数据库发送一个SQL 查询请求。 [color=red]•进行非等值查询时,数据库查询即使选中了全部缓存,性能也较低,没有索引在内存中通过循环查询。[/color] •数据库查询的缓存适用于多次查询返回同一个查询结果的情况(集中式),[c原创 2015-07-17 15:04:21 · 367 阅读 · 0 评论 -
Kettle 调用存储过程
]CREATE OR REPLACE PROCEDURE JOBTEST(CCX OUT NUMBER) ASBEGIN CCX:=88 ; DBMS_OUTPUT.PUT_LINE(CCX);END ;[/code][color=red]前一个步骤需要指定参数 CCX [/color][img]http://dl2.iteye.com/upload/attachment/0110/2310/7197c9cc-133b-3fd2-a011-ca原创 2015-07-17 10:53:39 · 856 阅读 · 0 评论 -
Kettle 参数、变量和全局变量(kettle.properties)使用
直接在里面定义,([color=red]注意这个文件需要与spoon.bat放在同一个目录下面[/color])比如: paramName=to_char(sysdate,'yyyymmdd') 这里[color=red]支持数据库函数[/color],说的更直白点,就是这里定义是个啥,那么在transformation里边取到的它就是啥。 2.定义之后,保存,重启spoon。 3.在需要的地方,直接[color=red]%%paramName%%[/color],或者[color=原创 2015-07-16 15:52:40 · 291 阅读 · 0 评论 -
Kettle注意事项
原创 2015-07-16 15:32:44 · 157 阅读 · 0 评论 -
Kettle初步学习
--在不同应用或数据库之间整合数据 --把数据库中的数据导出到文本文件 --大批量数据装载入数据库 --数据清洗 --集成应用相关项目是个使用 [size=medium][color=red] kettle使用非常简单,通过图形界面设计实现做什么业务,无需写代码去实现,因此,kettle是以面向元数据来设计;[/color][/size] kettle支持很多种输入和输出格式,包括文本文件,数据表,以及商业和免费的数据库引原创 2015-07-16 15:29:32 · 112 阅读 · 0 评论 -
Java kettle程序执行 kettle文件
ment;import org.pentaho.di.core.database.DatabaseMeta;import org.pentaho.di.core.exception.KettleException;import org.pentaho.di.core.util.EnvUtil;import org.pentaho.di.job.Job;import org.pentaho.di.job.JobMeta;import org.pentaho.di.repository.原创 2015-07-16 15:04:48 · 180 阅读 · 0 评论 -
Kettle 数据库连接采用文本文件进行配置
[size=medium][color=red]kettle.properties文件中定义[/color][/size],文件的路径默认如下:[code="txt"]$HOME/.kettle (Unix/Linux/OSX)C:\Documents andSettings\\.kettle\ (Windows)C:\Users\\.kettle\(Windows V...原创 2016-01-29 10:29:09 · 194 阅读 · 0 评论 -
kettle 命令行运行作业(kitchen)和转换(pan)以及一路下来编写的例子
Kettle好的论坛:[url]http://www.flybi.net/category/31[/url]BI教程学习地址:[url]http://www.hellobi.com/course/37[/url][size=medium][color=red]Kettle 命令行使用说明[/color][/size][size=small][b]1.Kitchen——作业执行器...原创 2015-11-17 10:34:55 · 953 阅读 · 0 评论 -
Kettle 合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
[size=large][color=red]该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。[/color][/size]需要设置的参数:旧数据来源:旧数据来源的步骤新数据来源。新数据来源的步骤标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。[c...原创 2015-09-24 14:40:20 · 770 阅读 · 0 评论 -
Kettle 流查询,数据库查询和Merge Join的区别
[color=red]他们的主要区别:[/color] [color=blue]•流查询步骤只能进行等值查询[/color],数据库查询步骤可以进行非等值查询 [color=blue]•流查询在查询之前把数据都加载到内存里,数据库查询可以选择是否把数据加载到内存。[/color] •进行等值查询时,数据库查询步骤如果选中了全部缓存,性能接近但仍不如流查询的性能。 •...原创 2015-07-17 15:04:21 · 256 阅读 · 0 评论 -
Kettle 调用存储过程
不带参数的存储过程可以直接使用“[color=red]调用DB存储过程[/color]”控件,将存储过程名称配置进去即可。[color=red]带返回值的参数[/color][code="sql"]CREATE OR REPLACE PROCEDURE JOBTEST(CCX OUT NUMBER) ASBEGIN CCX:=88 ; DBM...原创 2015-07-17 10:53:39 · 1235 阅读 · 0 评论 -
Kettle 参数、变量和全局变量(kettle.properties)使用
[color=red]有没有能统一管理一个参数,然后让所有的transformation和job都可以读到呢? 答案是有[/color] 1.首先,打开.kettle\[color=blue]kettle.properties[/color],直接在里面定义,([color=red]注意这个文件需要与spoon.bat放在同一个目录下面[/color])比如: paramName=to...原创 2015-07-16 15:52:40 · 690 阅读 · 0 评论 -
Kettle注意事项
[size=medium][color=red]注意事项[/color][/size] 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log...原创 2015-07-16 15:32:44 · 223 阅读 · 0 评论 -
Kettle初步学习
[color=red]kettle是一个ETL(Extract, Transform and Load 抽取、转换、载入)工具,ETL工具在数据仓库项目使用非常频繁[/color],kettle也可以应用在以下一些场景: --在不同应用或数据库之间整合数据 --把数据库中的数据导出到文本文件 --大批量数据装载入数据库 --数据清洗 --...原创 2015-07-16 15:29:32 · 217 阅读 · 0 评论 -
Kettle 数据库连接采用文本文件进行配置
C:\Users\\.kettle\(Windows Vista)[/code][size=medium][color=red]kettle.properties文件中定义全局变量[/color][/size]打开文件,直接在里面定义,[color=blue]如: TODAY=to_char(sysdate,'yyyy-mm-dd'),这里支持数据库函数,说的更直白点,就是这里定义是个啥,那么在transformation里边取到的它就是啥。[/color]在需要的地方,[col原创 2016-01-29 10:29:09 · 130 阅读 · 0 评论