SkyWalking集成Kafka实现日志异步采集经验总结

 SkyWalking日志异步采集架构

【重点知识】

1、【Agent】kafka-reporter-plugin-x.x.x.jar包放plugins目录后必走kafka（kafka没有正确配置就会报错）

2、【Agent】异步如不开启数据压缩，日志数据较大，pod多、业务大时容易造成网络拥堵

3、【Agent】SW_AGENT_INSTANCE_NAME默认：UUID@hostname，建议调整为：nodeip@podip

4、【Agent】官方说：使用Kafka时skywalking.collector.backend_service参数依然要配置

5、【APM】SkyWalking OAP配置启用kafka并配置好后，OAP启动时会自动创建Topic

6、看到最后会有惊喜，作者在附件六中记录了大型系统（POD数量>30000个）的最佳实践

7、可通过链路数据过滤插件过滤不需要监控的请求，详见：SkyWalking异步采集spring gateway日志-优快云博客

8、gateway集成skywalking见：SkyWalking异步采集spring gateway日志-优快云博客 

环境及帮助文件

SkyWalking-OAP官方下载地址

SkyWalking-OAP帮助文档  -- 配置说明

SkyWalking-Agent官方下载地址

SkyWalking-Agent帮助文档 -- 配置说明

Agent is available for JDK 8 - 21

Oracle JDK8u202(Oracle JDK8最后一个非商业版本)   下载地址：