
kettle
周小科
这个作者很懒,什么都没留下…
展开
-
kettle文件资源库之Show hidden folders
这个功能的实际应用场景在于,例如我们的kettle资源库是用git进行版本管理的,那么git就会在根目录下生成一个.git的隐藏文件,如果没有勾选这个选项,那么kettle会把这个文件夹当做资源库目录来扫描,而这个目录文件或文件夹会很多(可能成百上千个),会导致在打开资源库的时候非常缓慢,这时候这个选项就很有用处了。通过repositories.xml文件我们可以看到,其实这个选项在配置文件中对应的标签是:<hides_hidden_files>Y</hides_hidden_files>,默认是N。原创 2023-06-25 15:16:48 · 745 阅读 · 0 评论 -
kettle导出Excel报错:No such file or directory
明明已经指定文件对了目录和文件名,但是导出时仍然提升文件不存在。而且偶尔也能成功。2020/04/09 19:35:31 - Excel 输出:新疆.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : java.lang.RuntimeException: java.io.IOExce...原创 2020-04-10 14:51:39 · 1741 阅读 · 0 评论 -
kettle之param选项使用
通过命令行调用kettle的转换或者作业时,有时候需要传递一个变量参数,例如:(以下命令是在资源库环境下运行)kitchen.sh -rep:BAS2.0_TRANSFE -user:admin -pass:admin -dir / -job:test1 -param:day=20181201 这样的参数,在kettle成为命名参数,-param:day=20181201就是传递的命名...原创 2018-12-25 12:04:58 · 2326 阅读 · 0 评论 -
java api调用Kettle作业需要引用jar包最小集
在使用java 调用Kettle作业是,需要调用一些第三方包,理论上,把Kettle_Home下的lib和libswt全都引用进去就可以了,但是作业引用的话,打包后jar巨大,100多M,所以最好是引用最小集即可。经过反复测试得到,java调用Kettle时引用第三方jar包的最小集为:kettle-engine-7.0.0.0-25.jarkettle-core-7.0.0.0-25.jarme...原创 2018-02-08 17:07:11 · 5168 阅读 · 4 评论 -
KETTLE大批量提交数据时出现丢失问题
之前在做ETL是,表输入控件中,设置批量提交,并且将【提交记录数】设置为10万,脚本正常执行完,没有报然后错误,但是目标表的数据行数只有源表的三分之一左右,出现了数据莫名丢失的情况,在交流群中求助,也没有谁能解答,百思不得其解。一次偶然的机会,在网上看到关于oracle的jdbc驱动,比较ojdbc6.jar与ojdbc14.jar的区别。提到ojdbc14.jar存在的一些bug,批量插入1原创 2017-07-18 15:45:45 · 7234 阅读 · 1 评论 -
Kettle之【执行SQL脚本】控件用法
版本:kettle6.1控件:执行SQL脚本该控件可以执行一个update语句,用来更新某个表中的数据,如果不带条件,就很简单,把SQL语句粘贴到控件中,设置好数据库连接即可如果需要带条件执行,则需要进行一些设置。入下图,是一种常用的设置方法需要设置的地方有:1、勾选“变量替换”2、勾选“执行每一行?”3、勾选“Bind parmaters?”4、在wh原创 2017-07-20 11:44:40 · 18925 阅读 · 0 评论 -
kettle之时间转换异常
昨天在进行数据抽取时,发现了一个很奇怪的现象,部分时间,在经过kettle表输入再输出时,发生了变化。具体说来就是:在数据库中,时间是1988/04/10 00:00:00,但是在kettle表输入控件中,无论是预览还是输出,都变成了:1988/04/1001:00:00,小时莫名的加多了一小时,但并不是所有的时间都被加1,也不是所有日期的0时都被加1,1988/04/11 00:00:00就原创 2017-02-10 13:09:06 · 11685 阅读 · 0 评论 -
常用SQL函数、方法在kettle中的实现
1、WM_CONCAT在kettle中可以用【统计】-【分组】控件来实现,主要是把类型设置成“使用制定字符连接同组字符串”和在值中设置连接字符,即可。原创 2016-09-30 12:53:27 · 2732 阅读 · 0 评论 -
关于kettle中的Java脚本值得注意的地方
控件:Modified Java Script ValueJava s原创 2014-10-23 17:17:11 · 1922 阅读 · 0 评论 -
kettle行转列
行转列(Row denormaliser)注意:(kettle里面的zhong原创 2014-10-23 16:46:44 · 2176 阅读 · 0 评论