指定Flume日志分类级别

最新推荐文章于 2023-07-07 20:17:33 发布

puffsun

最新推荐文章于 2023-07-07 20:17:33 发布

阅读量827

点赞数

CC 4.0 BY-SA版权

分类专栏： Flume Hadoop 文章标签：大数据人工智能 java

本文链接：https://blog.youkuaiyun.com/puffsun/article/details/84458990

Hadoop 同时被 2 个专栏收录

57 篇文章

订阅专栏

Flume

1 篇文章

订阅专栏

本文详细介绍了如何使用UDP和TCP接收syslog格式的日志，并通过命令行测试验证接收过程。特别强调了在使用flume接收日志时，必须在测试文本前添加<37>标签的重要性，以正确分类消息类别和优先级。同时，展示了使用TCP接收日志的方法及输出结果。文章最后提供了详细的解释，指出<37>标签用于syslog的消息分类编码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用UDP或TCP接受syslog格式日志的时候，比如：

flume dump 'syslogUdp(5140)'

这个命令使用UDP在5140端口接收日志。这时候假如你希望从命令行测试能否成功接收：

echo '<37>Hello from cmd.' |nc -u localhost 5140

一定要在测试文本头加上<37>用来对日志进行分类，否则flume会抛出如下错误：

2013-07-16 08:26:49,614 [logicalNode dump-10] WARN syslog.SyslogUdpSource: 1 rejected packets. packet: java.net.DatagramPacket@51c888d9
com.cloudera.flume.handlers.text.EventExtractException: Failed to extract syslog wire entry
	at com.cloudera.flume.handlers.syslog.SyslogWireExtractor.extract(SyslogWireExtractor.java:178)
	at com.cloudera.flume.handlers.syslog.SyslogWireExtractor.extractEvent(SyslogWireExtractor.java:89)
	at com.cloudera.flume.handlers.syslog.SyslogUdpSource.next(SyslogUdpSource.java:88)
	at com.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:108)

来自Cloudera的解释：The extra <37> is a syslog wireformat encoding of a message category and priority level.

用TCP来接收syslog的方法如下：

$ flume dump 'syslogTcp(5140)'

这时候打开另一个命令行窗口，输入：

[cloudera@n4 ~]$ echo '<37>Hello from cmd.' |nc -t localhost 5140

就可以在接收日志的窗口看到"Hello from cmd."输出，这里我们使用flume dump把接收到的日志打印在命令行。