本文介绍了如何配置Flume-ng进行分布式部署，重点是日志总接收端的设置，包括修改flume-conf.properties文件，设定hdfs路径及文件命名规则，以及使用static拦截器来定义数据节点的文件名。
Flume-ng分布式部署总结
agent.channels = memoryChannel
agent.sinks = hdfsSink
# For each one of the sources, the type is defined
agent.sources.avrosrc.type = avro
agent.sources.avrosrc.bind = 192.168.35.100
agent.sources.avrosrc.port = 44444
1.日志总接收端的配置（负责接收各个节点发送过来的日志数据）,修改flume的安装目录下/conf/flume-conf.properties配置文件
（默认没有，cp flume-conf.properties.template flume-conf.properties）
agent.sources = avrosrcagent.channels = memoryChannel
agent.sinks = hdfsSink
# For each one of the sources, the type is defined
agent.sources.avrosrc.type = avro
agent.sources.avrosrc.bind = 192.168.35.100
agent.sources.avrosrc.port = 44444
最低0.47元/天 解锁文章
扫一扫
915
到【灌水乐园】发言
