is running beyond physical memory limits

最新推荐文章于 2023-09-03 17:14:37 发布

原创最新推荐文章于 2023-09-03 17:14:37 发布 · 805 阅读

0 ·

CC 4.0 BY-SA版权

本文针对YARN中容器超出物理内存限制的问题，提供了一种有效的解决方案，即通过调整yarn.scheduler.minimum-allocation-mb参数来增加分配给容器的最小内存，避免因内存不足而导致的容器被杀掉。

问题：Diagnostics: Container [pid=39140,containerID=container_e10_1565335325310_20621_02_000001] is running beyond physical memory limits. Current usage: 4.5 GB of 4.5 GB physical memory used; 6.6 GB of 9.4 GB virtual memory used. Killing container.

解决：yarn.scheduler.minimum-allocation-mb=2048 调大此参数