ETL之KETTLE实践

1.下载kettle软件包

    在pentaho的社区网站下载：http://community.pentaho.com/projects/data-integration/
    603M pdi-ce-5.4.0.1-130.zip

2.解压

    unzip  pdi-ce-5.4.0.1-130.zip
    解压之后的data-integration目录，就是kettle主目录

3.复制一份到服务端

   因为kettle不分客户端和服务端，设计job必须要用桌面系统，实际生产调度必须在服务端。
   scp -r data-integration root@server:/opt/

4.运行kettle

    进入data-integration目录，运行spoon.sh，即可进入kettle
    cd data-integration
    ./spoon.sh >/dev/null 2>&1 &
    如下图：

5.创建资源库

    把设计的job放在服务端数据库中（网上建议直接存文件，我觉得都可以）
    5.1 在服务器上创建资源数据库，我这里的数据库名是：kettle（创建数据库，用户，模式和配置连接许可）
    5.2 crtl+r 快捷键弹出资源库连接面板
    5.3 点击面板上面的 “+”号，后，选择“kettle database repository...”选项进行资源库的添加
    5.4 选择数据库连接和数据库名称，最后点击“Create or Upgrade”，就在kettle数据库中自动创建了一些表，并且在$HOME/.kettle中多了repositories.xml文件

6.创建transfomer

    6.1 点击File=>New=>Transfomation,如下图：

    6.2 添加“Generate Rows”组件（在input文件夹下找到“Generate Rows”这个组件，拖入右边空白处）
    6.3 编辑“Generate Rows”

    6.4 添加“Modified Java Script Value”组件（在scripting下找到“Modified Java Script Value”），并编辑

    6.5 添加“Table output”组件（在output下），并编辑

    6.6 保存，运行（左边的三角形）