Flink任务物理内存溢出问题定位

最新推荐文章于 2024-06-28 00:40:17 发布

原创

最新推荐文章于 2024-06-28 00:40:17 发布 · 9.2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#Flink

博客讲述了Flink任务在运行中出现物理内存溢出的问题及定位过程。首先，通过Yarn TaskManager日志发现任务被Kill，原因是TaskManager内存超出限制。接着排查堆外内存，发现RocksDB的rocksdb::UncompressBlockContentsForCompressionType方法占用大量内存。经过分析，问题是由于RocksDB为每个flush的sst文件保留内存索引，导致内存占用增长。最后，定位到问题源于用户代码中keyby的key值改变，使得窗口状态无法正确清理，建议在keyby时使用不变量以避免类似问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首发链接: https://www.jianshu.com/writer#/notebooks/20005301/notes/43493757

问题现象

一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本：

2019-03-17 16:05:28,854 INFO  org.apache.flink.yarn.YarnTaskExecutorRunner                  - RECEIVED SIGNAL 15: SIGTERM. Shutting down as requested.

原因定位

首先可以看到是YarnTaskExecutorRunner收到了SIGTERM信号, 因为是部署在Yarn上，所以基本可以定位到是Yarn因为什么原因从OS的层面将这个进程给Kill掉的。

代码上也可以根据这个日志可以定位到Flink的SignalHandler，下图可以看到Handler的构造调用过程。不管是YarnSessionClusterEntrypoint还是YarnTaskExecutorRunner的主函数都会注册，并且会在接收到OS的"TERM", “HUP”, "INT"信号是打出日志。

  private static class Handler implements sun.misc.SignalHandler {
  	private final Logger LOG;
  	private final sun.misc.SignalHandler prevHandler;
  	Handler(String name, Logger LOG) {
  		this.LOG = LOG;
  		prevHandler = Signal.handle(new Signal(name), this);
  	}
  	/**
  	 * Handle an incoming signal.
  	 *
  	 * @param signal    The incoming signal
  	 */
  	@Override
  	public void handle(Signal signal) {
  		LOG.info("RECEIVED SIGNAL {}: SIG{}. Shutting down as requested.",
  			signal.getNumber(),
  			signal.getName());
  		prevHandler.handle(signal);
  	}
  }