Kettle集群介绍及（windows、linux）环境搭建

一、         Kettle集群概述

1)  Kettle集群简介

    集群技术可以用来水平扩展转换，使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。这一部分，我们将介绍怎样配置和执行一个转换，让其运行在多台机器上。

一个集群schema由一台主服务器，和一些子服务器组成，主服务器作为一个集群的控制器。简单的说，我们提到的Carte控制服务器就是主服务器，其他的Carte服务器就是子服务器。

2)  Kettle集群优劣势

集群的优点

和其它系统的集群一样，有以下优点：

        1)多服务器运行，加快处理速度，对于大数据量的操作更明显。

        2)防单点失败，一台服务器故障后其它服务器还可以运行。

集群的缺点

         1)采用主从结构，不具备自动切换主从的功能。所以一旦主节点宕机，整个系统不可用。

         2)对网络要求高，节点之间需要不断的传输数据。

         3)需要更多的服务器，而且主节点没有处理能力（在该步骤没有处理能力，在其他的没有使用集群功能的步骤仍具有处理能力）。

适用场景

         适合于：

         1)需求kettle能时刻保持正常运行的场景。

         2)大批量处理数据的场景。

二、         Kettle集群部署方案

1)  Window本机部署三节点集群

Window本机部署只适用于本地开发环境。它作为一个伪集群方式进行部署，采用的一个kettle安装文件且用不同的端口进行集群部署。首先采用的环境是Win10，kettle版本采用的5.4.0，jdk采用的1.8.0_91。（当然，首先需要配置java环境变量，保证kettle正常启动）

1.首先确认本机是否有tomcat运行，因为kettle集群的master默认采用8080端口，这和tomcat的默认端口是冲突的，当然可以进行端口修改，自定义使用端口。

2.打开kettle的安装目录，进入到data-integration->pwd目录，找到carte-config-master-8080.xml文件。

   3.打开carte-config-master-8080.xml文件，如下图。该文件主要是进行master主机配置。

注意：在本机部署的集群环境中，建议hostname填localhost，因为开发者很多会在本机安装虚拟机，虚拟机NAT网络连接会修改本地的ip地址，如果是熟练使用wmware等虚拟机软件的开发者，请忽略。

4.carte-config-8081.xml文件是子服务器的配置文件。打开该文件，如下图。其中masters中，name、hostname、port需要和carte-config-master-8080.xml中完全一致。然后，同样修改carte-config-8082.xml文件。

注意：username和password并不是指主机的登陆账号和密码，是集群的账号密码，该账号密码是集群连接的依据，账号密码是通过混淆的方式保存在