filebeat+logstash日志采集Invalid version of beats protocol错误

最新推荐文章于 2024-04-23 13:53:38 发布
原创 最新推荐文章于 2024-04-23 13:53:38 发布 · 1.1w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #nginx #elasticsearch

本文解决了一个关于Logstash接收filebeat发送的Nginx日志时出现的“Invalidversionofbeatsprotocol”错误。通过调整filebeat配置文件解决了该问题。

项目使用filebeat采集Nginx日志送到Logstash进行格式化后送到ElasticSearch，filebeat和Logstash成功启动后logstash报了一个错误（Invalid version of beats protocol），如下：

[2021-03-19T11:42:55,089][INFO ][org.logstash.beats.BeatsHandler][main][beb2be8c82db2bab06de95da0bf4611dd78ef6050f2c4ec2e7f5444d4ea7eb8c] [local: 172.16.11.127:5044, remote: 10.168.60.113:38356] Handling exception: io.netty.handler.codec.DecoderException: org.logstash.beats.InvalidFrameProtocolException: Invalid version of beats protocol: 69 (caused by: org.logstash.beats.InvalidFrameProtocolException: Invalid version of beats protocol: 69)
[2021-03-19T11:42:55,091][WARN ][io.netty.channel.DefaultChannelPipeline][main][beb2be8c82db2bab06de95da0bf4611dd78ef6050f2c4ec2e7f5444d4ea7eb8c] An exceptionCaught() event was fired, and it reached at the tail of the pipeline. It usually means the last handler in the pipeline did not handle the exception.
io.netty.handler.codec.DecoderException: org.logstash.beats.InvalidFrameProtocolException: Invalid version of beats protocol: 69
        at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:471) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.handler.codec.ByteToMessageDecoder.channelInputClosed(ByteToMessageDecoder.java:404) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.handler.codec.ByteToMessageDecoder.channelInputClosed(ByteToMessageDecoder.java:371) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.handler.codec.ByteToMessageDecoder.channelInactive(ByteToMessageDecoder.java:354) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.channel.AbstractChannelHandlerContext.invokeChannelInactive(AbstractChannelHandlerContext.java:262) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.channel.AbstractChannelHandlerContext.access$300(AbstractChannelHandlerContext.java:61) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.channel.AbstractChannelHandlerContext$4.run(AbstractChannelHandlerContext.java:253) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.util.concurrent.DefaultEventExecutor.run(DefaultEventExecutor.java:66) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:989) [netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) [netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30) [netty-all-4.1.49.Final.jar:4.1.49.Final]
        at java.lang.Thread.run(Thread.java:834) [?:?]
Caused by: org.logstash.beats.InvalidFrameProtocolException: Invalid version of beats protocol: 69
        at org.logstash.beats.Protocol.version(Protocol.java:22) ~[logstash-input-beats-6.0.14.jar:?]
        at org.logstash.beats.BeatsParser.decode(BeatsParser.java:62) ~[logstash-input-beats-6.0.14.jar:?]
        at io.netty.handler.codec.ByteToMessageDecoder.decodeRemovalReentryProtection(ByteToMessageDecoder.java:501) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:440) ~[netty-all-4.1.49.Final.jar:4.1.49.Final]
        ... 11 more

查了一溜资料和论坛，只查到一个可能的原因：TSL不匹配。经过各种尝试无果后，仔细读filebeat和Logstash的启动日志，终于发现了错误原因。

filebeat启动日志中报了一个错误日志：

2021-03-19T11:42:40.049+0800    INFO    [publisher_pipeline_output]     pipeline/output.go:143  Connecting to backoff(elasticsearch(http://172.16.11.127:5044))
2021-03-19T11:42:40.049+0800    INFO    [publisher]     pipeline/retry.go:219   retryer: send unwait signal to consumer
2021-03-19T11:42:40.049+0800    INFO    [publisher]     pipeline/retry.go:223     done
2021-03-19T11:42:41.317+0800    ERROR   [publisher_pipeline_output]     pipeline/output.go:154  Failed to connect to backoff(elasticsearch(http://172.16.11.127:5044)): Get "http://172.16.11.127:5044": read tcp 10.168.60.113:38348->172.16.11.127:5044: read: connection reset by peer
2021-03-19T11:42:41.317+0800    INFO    [publisher_pipeline_output]     pipeline/output.go:145  Attempting to reconnect to backoff(elasticsearch(http://172.16.11.127:5044)) with 1 reconnect attempt(s)

排查filebeat.yml发现由于之前数据直接输出给ElasticSearch，配置没有注释导致，


# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["172.16.11.127:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

# ------------------------------ Logstash Output -------------------------------
#output.logstash:
  # The Logstash hosts
  hosts: ["172.16.11.127:5044"]

  # Optional SSL. By default is off.
  # List of root certificates for HTTPS server verifications
  #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]

  # Certificate for SSL client authentication
  #ssl.certificate: "/etc/pki/client/cert.pem"

  # Client Certificate Key
  #ssl.key: "/etc/pki/client/cert.key"

将output.logstash:注释放开，output.elasticsearch:注释加上，修改为如下：

# ---------------------------- Elasticsearch Output ----------------------------
#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

# ------------------------------ Logstash Output -------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["172.16.11.127:5044"]

  # Optional SSL. By default is off.
  # List of root certificates for HTTPS server verifications
  #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]

  # Certificate for SSL client authentication
  #ssl.certificate: "/etc/pki/client/cert.pem"

  # Client Certificate Key
  #ssl.key: "/etc/pki/client/cert.key"

重启，问题解决！

记一次filebeat与logstash配合使用遇到的坑
hxm_Code的专栏
03-02 7764
背景 初学filebeat和logstash，于是根据官方文档，做了个最简单的filebeat采集日志，然后输出到logstash的最简配置。本以为可以愉快的输出“helloworld”的… 问题 启动配置好的filebeat和logstash，正想见证奇迹的时刻，没想到logstash启动完之后，紧接着给我来个当头棒喝，抛了下面一个很长的异常： io.netty.handler.codec.De...
ELK 日志服务
m0_37749659的博客
08-02 876
logstash 格式转换处理，发送到es。
第一次写文章，记录我的sonar之旅
lwtq6的博客
11-05 901
第一次写文章，记录我的sonar之旅 之前在本机用的sonar，win10系统，一次安装成功，后来想好东西得分享，就想着把这套sonar放到公司服务器上，谁成想各种问题出来了。为了让大家少遇坑，特意记录一下。 特别注意 sonar版本不同，对jdk版本以及数据库的支持不同。 1、最新版的sonar必须要jdk11才能运行 2、如果您的公司用的是mysql的数据库，那么数据库的版本过高也不行，我们公...
关于sprinboot中logback+logstash异常：Invalid version of beats protocol
weixin_42545702的博客
11-08 5223
关于sprinboot中logback+logstash异常：Invalid version of beats protocol 如果logback中 class是 tcp 那么 logstash的配置文件input模块就要设置成tcp： input { tcp { host => “192.168.65.128” port => 9600 } }
org.logstash.beats.BeatsParser$InvalidFrameProtocolException: Invalid Frame Type, received:105/65
qq_40448529的博客
12-30 2800
网上clone了一个项目用到了elk，不太熟悉，在网上随便拷了一份配置 input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "elastic" ...
Caused by: org.logstash.beats.InvalidFrameProtocolException: Invalid version of beats protocol: 10
最新发布
11-06
我们在处理用户的问题：解决org.logstash.beats.InvalidFrameProtocolException: Invalid version of beats protocol: 10错误 根据错误信息，这是Logstash的beats输入插件在接收数据时发现协议版本不兼容的问题。...
PlatformIO构建日志增强：结构化输出与错误自动归类的实战策略
PlatformIO构建日志的核心机制解析 PlatformIO 作为嵌入式开发中广泛使用的集成开发环境框架，其构建日志是诊断编译问题的首要信息源。默认情况下，PlatformIO 基于 `SCons` 构建系统生成非结构化的文本日志，输出...
Docker方式搭建ELKF集群--集成kafka和redis抽取日志
qq_39169917的博客
07-06 997
上面 必须注意： 如果要生效 /etc/sysctl.conf 请务必确保 net.ipv4.ip_forward=1 ，默认他是0，如果是0。1、启动相关应用 比如：Mysql、Nginx、Redis，具体如果安装启动，我这里就不多说，我主要讲解一下已经启动的应用。内核参数文件 /etc/sysctl.conf 里面增加一行 vm.max_map_count=262144。/kibana/config/kibana.yml 文件。192.168.88.133 上创建目录。
logstash-启动
热门推荐
大帅的博客
08-26 3万+
logstash依赖于JDK，所以需要先安装JAVA_HOME环境变量 安装路径需要注意，不能含有冒号（:）
logstash 开启ssl报错：Caused by: io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record
just_a_sinner的博客
08-18 7855
logstash证书报错ssl/tls
安装logstash7.3.2遇到的坑及解决方案
小蜜蜂1010的博客
10-02 2万+
一、安装logstash 1.1安装logstash7.3.2版本 国庆节的前几天下载了elasticsearch和kibana，当时elastic stack系列最新版本还是7.3.2，当时只下载了elasticsearch和kibana的最新版7.3.2练习，今天，项目中需要用到logstash收集数据信息，进入官网，发现就在今天10月2日，官网发布了新版本7.4版本，我们知道...
Win环境安装ELK（保姆级教程）
qq_33191919的博客
04-23 4858
elasticsearch+kibana+logstash+filebeat 搭建教程
io.netty.handler.codec.EncoderException: io.netty.util.internal.OutOfDirectMemoryError
qq_36493719的博客
10-21 6847
记一bug 2021/10/20 21:44:34.713 ERROR [reactor-http-epoll-2] r.n.h.s.HttpServerOperations : [id: 0xa504247f, L:/172.17.0.8:8443 - R:/172.17.0.1:36452] Error finishing response. Closing connection io.netty.handler.codec.EncoderException: io.netty.util.interna
一个低级错误引发Netty编码解码中文异常
weixin_30567225的博客
10-03 2595
前言 最近在调研Netty的使用，在编写编码解码模块的时候遇到了一个中文字符串编码和解码异常的情况，后来发现是笔者犯了个低级错误。这里做一个小小的回顾。 错误重现 在设计Netty的自定义协议的时候，发现了字符串类型的属性，一旦出现中文就会出现解码异常的现象，这个异常并不一定出现了Exception，而是出现了解码之后字符截断出现了人类不可读的字符。编码和解码器的实现如下： // 实体 ...
netty客户端发送数据时异常被隐藏
Brucelwl的博客
01-09 6848
while (!channelFuture1.isDone()) { try { boolean notTimeout = channelFuture1.await(10);//超时时间示例值 } catch (Exception e) { log.warn(e.getMessage()); } }
es握手失败异常排查，插件安装，使用指定java
xdreamman的博客
07-30 2608
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: no cipher suites in common 经查，是xpack之后，没有生成秘钥。 如果是6.x 的版本安装 xpack 强制要 SSL 加密传输 解决方案 https://www.elastic.co/guide/en/elasticsearch/reference/6.3/configuring-tls.html#node-..
Filebeat + Logstash + Kafka日志采集springboot项目日志案例
09-13
使用Filebeat、Logstash和Kafka对Spring Boot项目日志进行采集的案例流程通常如下： ### 日志产生 在Spring Boot应用中，可通过配置`logback.xml`文件来产生日志并将其发送到Logstash。示例配置如下： ```xml <?xml version="1.0" encoding="UTF-8"?> <configuration> <property resource="properties/logback-variables.properties" /> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <encoder charset="UTF-8"> <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n</pattern> </encoder> </appender> <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>172.16.1.16:9250</destination> <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" /> </appender> <root level="info"> <appender-ref ref="STDOUT" /> <appender-ref ref="LOGSTASH" /> </root> </configuration> ``` 此配置将日志输出到控制台的同时，也会发送到指定的Logstash地址 [^4]。 ### Filebeat配置 编辑`filebeat-7.9.3/filebeat.yml`文件，配置要读取的Spring Boot应用的日志路径，不同的服务可配置不同的日志路径。示例如下： ```yaml filebeat.inputs: - type: log enabled: true paths: - /home/aisys/logs/member-service/*.log fields: log_topic: member-service ``` 该配置使Filebeat读取指定路径下的日志文件，并为日志添加自定义字段`log_topic` [^3]。 ### 日志收集与处理 设置Kafka作为日志收集的中间件，配置Logstash以接收和处理从Filebeat发送过来的日志。具体步骤为：先由Filebeat将收集到的日志发送到Kafka，再由Logstash从Kafka接收日志进行处理，最后将处理后的日志存入Elasticsearch中 [^1]。 ### 日志可视化 在Docker环境下部署Logstash日志收集工具，完成日志采集后，将数据写入Elasticsearch，再用Kibana进行可视化展示 [^2]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值