Kettle ETL处理工具

集群模式（Linux）

注意：检测服务器是否有jdk

1)准备三台服务器

	HOST映射	IP	CUP	内存	端口
Mster	node01	192.168.xx.xx	16	32G	8080
SlaveFrist	node02	192.168.xx.xx	16	32G	8081
SlaveSecond	node03	192.168.xx.xx	32	32G	8082

查看服务器上各个端口是否被占用

netstat  -anp  |grep  8080
netstat  -anp  |grep  8081
netstat  -anp  |grep  8082

2)上传解压kettle的安装包

[root@node01 kettle]# ll
-rw-r--r--  1 root root 1309895085 8月   7 09:50 data-integration.tar.gz
[root@node01 /]# tar -zxvf data-integration.tar.gz

3)进到data-integration/pwd目录，修改配置文件

修改主服务器配置文件carte-config-master-8080.xml

[root@node01 /]# cd /data/kettle/data-integration/
[root@node01 data-integration]# vim pwd/carte-config-master-8080.xml

<slave_config>
  <slaveserver>
    <name>master</name>
    <hostname>node01</hostname>
    <port>8080</port>
    <master>Y</master>
  </slaveserver>
</slave_config>

修改从服务器配置文件carte-config-8081.xml

[root@node01 data-integration]# vim pwd/carte-config-8081.xml

<slave_config>
  <masters>
    <slaveserver>
      <name>master</name>
      <hostname>node01</hostname>
      <port>8080</port>
      <username>cluster</username>
      <password>cluster</password>
      <master>Y</master>
    </slaveserver>
  </masters>
  <report_to_masters>Y</report_to_masters>
  <slaveserver>
    <name>SlaveFrist</name>
    <hostname>node02</hostname>
    <port>8081</port>
    <username>cluster</username>
    <password>cluster</password>
    <master>N</master>
  </slaveserver>
</slave_config>

修改从服务器配置文件carte-config-8082.xml

[root@node01 data-integration]# vim pwd/carte-config-8082.xml

<slave_config>
  <masters>
    <slaveserver>
      <name>master</name>
      <hostname>node01</hostname>
      <port>8080</port>
      <username>cluster</username>
      <password>cluster</password>
      <master>Y</master>
    </slaveserver>
  </masters>
  <report_to_masters>Y</report_to_masters>
  <slaveserver>
    <name>SlaveFrist</name>
    <hostname>node03</hostname>
    <port>8082</port>
    <username>cluster</username>
    <password>cluster</password>
    <master>N</master>
  </slaveserver>
</slave_config>

分发整个kettle的安装目录

[root@node01 kettle]# ll
总用量 1279208
drwxrwxrwx 17 root root       4096 9月   8 2020 data-integration
-rw-r--r--  1 root root 1309895085 8月   7 09:50 data-integration.tar.gz
[root@node01 kettle]# scp -r data-integration/ node02:$PWD
[root@node01 kettle]# scp -r data-integration/ node03:$PWD

4)启动相关进程

[root@node01 /]# cd /data/kettle/data-integration/
[root@node01 data-integration]# nohup ./carte.sh pwd/carte-config-master-8080.xml > ../log/master_8080.log 2>&1 &
[root@node02 data-integration]# nohup ./carte.sh pwd/carte-config-8081.xml > ../log/SlaveFrist_8081.log 2>&1 &
[root@node03 data-integration]# nohup ./carte.sh pwd/carte-config-8082.xml > ../log/SlaveSecond_8082.log 2>&1 &

资源库配置

1)数据库资源库

优点：跨平台易使用

（1）打开kettle图像化界面，点击右上角connect，选择Other Resporitory

（2）选择Database Repository

（3）建立新连接

填好之后，点击finish，会在指定的库中创建很多表，至此数据库资源库创建完成

（4）连接资源库

默认账号密码为admin