flume 发送数据到elasticsearch 5.X解决方案

最新推荐文章于 2025-04-22 00:16:26 发布

原创

最新推荐文章于 2025-04-22 00:16:26 发布 · 3.1k 阅读

2 ·

CC 4.0 BY-SA版权

升级Elasticsearch到5.x后，使用Flume从Kafka读取数据并发送到ES遇到错误。解决方案包括从特定来源下载相关包，将其放入Flume的lib目录，并删除冲突的jackson-core-2.3.1.jar。提供了一个Flume agent配置示例，并提及了原作者的GitHub地址和所需下载的jar包列表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

elasticsearch 升级到5.X之后，使用flume 读取kafka数据发送到es报错，在github上找到个项目,但是readme.md例子有错误，拉下源码定位，附上解决方案

下载打好的包以及依赖（也可按文末去github上下载，剔除依赖）
- https://download.youkuaiyun.com/download/qq_25067199/10305213
解压到 flume的lib下
删除flumed的lib中 jackson-core-2.3.1.jar
附上一个agent配置,自行配置zookeeperConnect ,topic ,cluster.name,client.hosts等
启动成功

agent.sources = r1
agent.sinks = es_sink
agent.channels = c1

# Describe/configure the source
agent.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
agent.sources.r1.zookeeperConnect = localhost:2181,localhost1:2181,
agent.sources.r1.topic =test
agent.sources.r1.groupId = flume
agent.sources.r1.kafka.consumer.timeout.ms = 100

# Describe the sink
agent.sinks