记录一次Flink作业异常的排查过程

原创

已于 2022-04-15 16:31:14 修改 · 2.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java #flink

于 2020-06-17 11:56:22 首次发布

本文记录了一次针对Flink作业异常的详细排查过程，从基础的日志分析到利用jstack和jmap深入诊断，最终定位到自建的EsClient线程泄漏问题。通过调整并发度和使用工具xland，发现并验证了EsClient在异常处理和资源关闭上的不足，强调了在Flink作业中正确管理外部客户端资源的重要性。

本文来自:HeapDump性能社区

PerfMa(笨马网络)官网

最近2周开始接手apache flink全链路监控数据的作业，包括指标统计，业务规则匹配等逻辑，计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题，我负责对这个问题进行排查跟进。

第一步，基础排查

首先拿到jobmanager和taskmanager的日志，我从taskmanager日志中很快发现2个基础类型的报错，一个是npe，一个是索引找不到的异常

elasticsearch sinker在执行写入数据的前后提供回调接口让作业开发人员对异常或者成功写入进行处理，如果在处理异常过程中有异常抛出，那么框架会让该task失败，导致作业重启。

npe很容易修复，索引找不到是创建索引的服务中的一个小bug，这些都是小问题。

重点是在日志中我看到另一个错误：

java.lang.OutOfMemoryError: unable to create new native thread
	at java.lang.Thread.start0(Native Method)
	at java.lang.Thread.start(Unknown Source)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.<init>(RecordWriter.java:122)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.createRecordWriter(RecordWriter.java:321)
	at org.apache.flink.streaming.runtime.t