Flume与Elasticsearch整合

最新推荐文章于 2025-03-17 18:10:22 发布

数据文字工作者

最新推荐文章于 2025-03-17 18:10:22 发布

阅读量1.4w

点赞数

分类专栏： Hadoop生态技术体系

本文链接：https://blog.youkuaiyun.com/u010022051/article/details/50515725

版权

本文介绍了在Flume 1.6中整合Elasticsearch的配置过程，包括创建配置文件、设置参数等。在实践过程中遇到了两个错误：1. 缺少Elasticsearch依赖包，解决方案是将Elasticsearch的jar包导入Flume的lib目录或设置FLUME_CLASSPATH；2. Flume与高版本Elasticsearch不兼容，解决办法是降低Elasticsearch版本到1.7.1。参考链接提供了更多解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Flume1.6中的ElasticSearchSink支持Flume与Elasticsearch的整合，可以将Flume采集的数据传输到Elasticsearch中，其主要配置项如下：

实现过程：

JDK版本：1.7.0_79

Elasticsearch版本：2.1.1

Flume版本：1.6

在flume的配置文件目录下添加如下配置文件

vim es_log.conf

agent.sources = tail

agent.channels = memoryChannel
agent.channels.memoryChannel.type = memory

agent.sources.tail.channels = memoryChannel
agent.sources.tail.type = spooldir
agent.sources.tail.spoolDir = /home/elk/es_log.log
agent.sources.tail.fileHeader = true

com.frontier45.flume.sink.elasticsearch2.ElasticSearchSink
agent.sinks = elasticsearch
agent.sinks.elasticsearch.channel = memoryChannel
agent.sinks.elasticsearch.type=org.apache.flume.sink.elasticsearch.ElasticSearchSink
agent.sinks.elasticsearch.batchSize=100
agent.sinks.elasticsearch.hostNames=172.26.40.74:9300,172.26.40.75:9300,172.26.40.76:9300,172.27.40.77:9300,172.28.40.78:9300
agent.sinks.k1.indexType = bar_type
agent.si

最低0.47元/天解锁文章