longshenlmj的专栏

ETL工具kettle，在老版设计后，使用新版时，居然发生了内存溢出的错误：出现： java heap  或者 OutOfMemory等字样 这是kettle分配的内存不足。在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到: REM *************************************************************

kettle的表输出：双击后，看设置，1，在connecttion后面，点击new里新建一个。设定各个选项值，如选择mysql类型，则配置hostname，database name，端口，用户名，密码，一般java里用jdbc连接。2，然后，可以设定是否truncate table3，最后 在database fields标签页，获得表中对应字段，同时enter field

This step calculates checksums for one or more fields in the input stream and adds this to the output as a new field.为数据流输入的列计算校验码，并将输出作为新的一列。 wiki中介绍：http://wiki.pentaho.com/display/EAI/Add+a+c

kettel的stream lookup报错：you can't use the 'integer-pair' algorithm when you have more than one key or value-field or value in not an integer. 去外国网站看了wiki基本没用http://wiki.pentaho.com/display/EA

项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。呵呵，外国人都很有联想力。看了提供的文档，然后对发布程序的简单试用后，可以很清楚得看到Kettle的四大块：Chef——工作(job)设计工具 (GUI方式)Kitchen——工作(job)执行器 (命令行方式)Spoon——转换(transform)设计工具(GUI方式)pan——转换(tr

shell脚本（crontab 定期执行），调用kitchen 和 pan去执行，job和transformation文件。分 windows和 dos系统两种。太简单不写了。 shell脚本懒得贴了，不懂百度

add file ${python_script_path}/lanch_interval_count.py;drop table temp_lanch_interval2;create table temp_lanch_interval2 as select reportdate, appid,channelname, app_version, deviceid,ts,sameday