Datax 3.x 处理Kylin数据同步到ES

好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受.

目录

01-datax 安装

02-添加插件

03-kylin插件

04-配置运行任务

05-同步结果

---

“ 路漫漫其修远兮，吾将上下而求索”

如何基于Datax 3.x实现 kylin数据同步到ES的操作,具体可以分为如下几步。对于不熟悉datax的，可以去https://github.com/alibaba/DataX 

查阅关于datax的介绍或者是去baidu上搜索了解下。

01-datax 安装

去https://github.com/alibaba/DataX下载解压并安装好datax。

如有不会的，可以去google。datax的运行基于python，版本最好是：2.7+ ，所以要想很快速的运行datax 最好在相应的机器上安装上python，当然java运行环境必须有，不多说。

 

02-添加插件

      默认datax是没有elasticsearch的运行插件的，需要去下载源码，进行手动编译插件，在 https://github.com/alibaba/DataX 上下载 datax-master，使用IDE工具打开源码，执行maven命令：

mvn clean install -Dmaven.test.skip=true           

复制/elasticsearchwriter/target/datax/plugin/writer/elasticsearchwriter

目录到datax的plugin目录下，并其放入到writer文件夹里面。如下图所示：