Flume1.7 Sinks 支持 Elasticsearch 6.5.4 历险记

ElasticSearch升级到6.5.4版本后，flume1.7自带的es sinks连ElasticSearch报错。

ElasticSearch报错日志如下：

java.lang.IllegalStateException: Received message from unsupported version: [1.0.0] minimal compatible version is: [5.6.0]
    at org.elasticsearch.transport.TcpTransport.ensureVersionCompatibility(TcpTransport.java:1220) ~[elasticsearch-6.5.4.jar:6.5.4]

下载了flume 1.7 的源码，通过pom文件发现支持的elasticsearch的客户端版本是0.90.1。由于ElasticSearch版本升级太快，flume对es的支持停留在1.x。

<elasticsearch.version>0.90.1</elasticsearch.version>

搜索了一通后，发现至少有两个方案可以考虑：

1、改造flume的 elasticsearch sink，支持高版本的elasticsearch。

2、采用logstash 替代flume。（logstash是ELK stack的一员，官网资料很全面且更新很快）

第二个方案实现起来比较简单，但考虑到logstash对CPU和内存资源占用很高，暂时作为备选方案。

本文介绍第一个方案的实现过程。

在github.com找到一个开源项目：https://github.com/lucidfrontier45/ElasticsearchSink2

项目很久没有更新了，作者也建议使用Logstash来实现对Elasticsearch高版本的写入。

首先，下载源码到本地后，编译打包，一切顺利。

 gradlew build

:compileJava UP-TO-DATE
:processResources UP-TO-DATE
:classes UP-TO-DATE
:jar
:assemble
:compileTestJava UP-TO-DATE
:processTestResources UP-TO-DATE
:testClasses UP-TO-DATE
:test UP-TO-DATE
:check UP-TO-DATE
:build

BUILD SUCCESSFUL

Total time: 6.912 secs

修改build.gradle：

sourceCompatibility = 1.8

dependencies {
    provided "org.apache.flume:flume-ng-core:1.7.0"
    provided 'org.apache.flume.flume-ng-sinks:flume-ng-elasticsearch-sink:1.7.0'
    compile 'org.elasticsearch:elasticsearch:6.5.4'
    compile 'org.elasticsearch.client:transport:6.5.4'
    compile 'org.elasticsearch.plugin:transport-netty4-client:6.5.4'
    testCompile group: 'junit', name: 'junit', version: '4.11'
}

重新编译后，发现有18个错误。这说明elasticsearch客户端从2.0.0到6.5.4，API也存在一些差异。

将项目导入IDEA后，修复编译报错的代码。

ElasticSearchRestClient.java

ElasticSearchTransportClient.java

修改后的项目全部代码可以在github下载：https://github.com/dugangandy/flume-ng-elasticsearch-sink

打包推荐使用 gradlew assembly，将依赖包都放入编译后的jar包。

部署步骤：

1. 将编译后的jar包放到flume的默认lib目录下，替换掉默认的flume-ng-elasticsearch-sink-1.7.0.jar.
2. 从flume默认lib目录下删除 guava-*.jar 、jackson-core-*.jar 、lucene-*.jar、elasticsearch-*.jar. 这些包的版本已经过时，新版本已经包含在编译的jar包中.
3. 修改 flume.conf 的elasticsearch sink类名.（采用本项目代码编译，无需修改）
4. 启动flume agent.

参考文章：

1. 低版本Flume兼容高版本elasticsearch（https://www.cnblogs.com/zhanchaohan/p/10287195.html）
2. Es添加信息踩坑之--The number of object passed must be even but was [1]（https://blog.youkuaiyun.com/nicodeme/article/details/83088931）
3. elasticsearch 5.x常见问题整理（https://blog.youkuaiyun.com/andyzhaojianhui/article/details/81502892）
4. Elasticsearch5.4集群（三）Flume1.6sink兼容（https://blog.youkuaiyun.com/u013673976/article/details/74319879）