qq_36588424的博客

文章目录前言项目需求一、Flume采集日志写入Kafka1.Source配置2.Sinks配置3.Channel配置二、Flume采集Kafka消息写入HDFS1.KafkaSource配置2.KafkaSinks配置3.KafkaChannel配置三、启动Flume NG和Kafka验证1.启动Flume采集日志写入Kafka代理2.启动Flume采集Kafka消息写入HDFS代理3.效果展示总结前言Flume 是一个连接各种组件和系统的桥梁，在$FLUME_HOME/lib 目录下有Flume与.

启动Flume报错：[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@65bf32fc counterGroup:{ name:null counters:{} } } - Except

一、Flume的安装配置去Flume官网下载Flume安装包，我下载的版本为apache-flume-1.9.0-bin.tar.gz，解压。（1）修改flume-env.sh。Flume运行在JVM之上，因此安装之前要确保系统安装了JDK，编辑环境配置文件，执行命令如下：mv flume-env.sh.template ./flume-env.shvim flume-env.shexport JAVA_HOME=/opt/java/jdk1.8.0_144（2）设置系统环境变量。将flume