Flume几种监控方式

Flume主要由以下几种监控方式：

JMX监控

JMX高爆可以在flume-env.sh文件修改JAVA_OPTS环境变量，如下：

export JAVA_OPTS=”-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false”

 

Ganglia监控

 

 

Flume也可以报告metrics到Ganglia 3或者是Ganglia 3.1的metanodes。要将metrics报告到Ganglia，必须在启动的时候就支持Flume Agent。这个Flume Agent使用flume.monitoring作为前缀，通过下面的参数启动。当然也可以在flume-env.sh中设置：

 

属性	默认	描述
type	–	组件名：ganglia
hosts	–	Ganglia服务器的hostname:port列表，有逗号分隔。
pollFrequency	60	多少秒向Ganglia发一次数据。
isGanglia3	false	刚的服务器是否是3，默认情况下是发Ganglia 3.1的格式。

 

如果要支持Ganglia，可以通过如下命令启动。

$ bin/flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=com.example:1234,com.example2:5455

 

JSON监控

Flume可以通过JSON形式报告metrics，启用JSON形式，Flume需要配置一个端口。如下是采用JSON格式报告metrics的格式：

{
"typeName1.componentName1" : {"metric1" : "metricValue1", "metric2" : "metricValue2"},
"typeName2.componentName2" : {"metric3" : "metricValue3", "metric4" : "metricValue4"}
}

例如：

{
"CHANNEL.fileChannel":{"EventPutSuccessCount":"468085",
                      "Type":"CHANNEL",
                      "StopTime":"0",
                      "EventPutAttemptCount":"468086",
                      "ChannelSize":"233428",
                      "StartTime":"1344882233070",
                      "EventTakeSuccessCount":"458200",
                      "ChannelCapacity":"600000",
                      "EventTakeAttemptCount":"458288"},
"CHANNEL.memChannel":{"EventPutSuccessCount":"22948908",
                   "Type":"CHANNEL",
                   "StopTime":"0",
                   "EventPutAttemptCount":"22948908",
                   "ChannelSize":"5",
                   "StartTime":"1344882209413",
                   "EventTakeSuccessCount":"22948900",
                   "ChannelCapacity":"100",
                   "EventTakeAttemptCount":"22948908"}
}

 

属性名	默认	描述
type	–	组件的名称：http
port	41414	启动服务的端口

可以用如下命令启动Flume:

$ bin/flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

 

自定义监控

 

自定义的监控需要实现org.apache.flume.instrumentation.MonitorService接口。例如有一个HTTP的监控类叫HttpReporting，我可以通过如下方式启动这个监控。

 

$ bin/flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=com.example.reporting.HTTPReporting -Dflume.monitoring.node=com.example:332

报告metrics我们也可以自定义组件，不过一定要继承org.apache.flume.instrumentation.MonitoredCounterGroup虚拟类。Flume已经实现的类，如下图：

 

根据上面的规范我么就可以开发自定义的监控组件了。