Linux OOM-killer

最新推荐文章于 2025-09-02 15:44:27 发布
原创 最新推荐文章于 2025-09-02 15:44:27 发布 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

本文深入探讨了Linux系统中的内存管理机制，特别是OOM-Killer的作用及其工作原理，通过实例分析如何有效避免因内存不足导致的系统崩溃，并介绍了如何调整系统配置以优化内存使用效率。
前天线上出了个502错误，经排查是某开发人员写了条性感的程序吃掉了大部分内存，触发OOM-killer杀死Nginx
查看日志/var/log/messages发现类似"Out of Memory: Kill process..."错误
以前不了解OOM-killer{out of memory killer }，今天碰巧放假一天，借此学习下，涨涨姿势！

OOM_killer是Linux自我保护的方式，当内存不足时不至于出现太严重问题，有点壮士断腕的意味
在kernel 2.6，内存不足将唤醒oom_killer，挑出/proc/<pid>/oom_score最大者并将之kill掉

为了保护重要进程不被oom-killer掉，我们可以：echo -17 > /proc/<pid>/oom_adj,-17表示禁用OOM
我们也可以对把整个系统的OOM给禁用掉：
sysctl -w vm.panic_on_oom=1
sysctl -p

值得注意的是，有些时候 free -m 时还有剩余内存，但还是会触发OOM-killer，可能是因为进程占用了特殊内存地址

平时我们应该留意下新进来的进程内存使用量，免得系统重要的业务进程被无辜牵连
可用 top M 查看最消耗内存的进程，但也不是进程一超过就会触发oom_killer
参数/proc/sys/vm/overcommit_memory可以控制进程对内存过量使用的应对策略
当overcommit_memory=0 允许进程轻微过量使用内存，但对于大量过载请求则不允许
当overcommit_memory=1 永远允许进程overcommit

当overcommit_memory=2 永远禁止overcommit


参考文章：
http://laoxu.blog.51cto.com/4120547/1267097
http://rdc.taobao.com/team/jm/archives/2001


By DBA_WaterBin

2013-09-28

Good Luck

Linux实战-2：内存不足触发Linux OOM-killer机制分析
zhuyunier的博客
12-13 1万+
启动我们的程序长时间拉流一段时间，系统内存不足导致触发linux的OOM killer保护机制，kill掉内存占用较高的HPC03C进程 ，打印如下： [16321.605050] HPC03C invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [16321.645746] CPU: 0 PID: 119 Comm: HP...
从 oom-killer 到 cgroup
永远相信美好的事情即将发生
10-14 1011
最近线上遇到一个问题，运行的好好的Java应用莫名其妙的不见了，记录的日志也到了某个时刻"戛然而止",就好像应用对应的进程突然"人间蒸发"了似的。 经过一番查找，终于找到的系统日志中找到了一些猫腻： [8314616.900000] java invoked oom-killer: gfp_mask=0xd0, order=0, oom_score_adj=0 [8314616.901123] java cpuset=docker-4da60884c4c56e1c58f86fcd853ad7510f1f1e
Linux开发心得总结5 - Linux下OOM Killer机制详解
ynttmp的专栏
03-01 1413
Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了（泪流满面）。重启机器后
实验环节：研究top的几个内存参数，Linux在内存不足时oom killer kill低优先级进程，fork进程，系统假死，swap交换区（虚拟内存）设置
MJ的博客
11-21 1475
情景1 设置物理内存256MB，启动，xshell连接上去会感觉很卡，这时物理内存用完并用去部分虚拟内存。swapon -s 当尝试swapoff -a关闭交换区时，会报错不能分配内存，如果关闭交换区就不足支持系统进行运行。这时另一个窗口可看到 情景2 从上可以看出，系统正常运行需要约512M内存。关闭系统，从新设置物理内存512M，这时是可以成功关闭交换区的，并且系统也不...
这几个事务案例会回滚吗？最后一个90%的人判断错了...
程序猿DD
06-30 1493
下面这个问题源于前几日在我们的Spring技术交流群里，一个群友提出的关于事务回滚的疑问。 在讨论过程中，我尝试去复现群友提出的问题场景，发现了另外一个可能让大家会迷惑的情况。 当时在群里说了结果和原因，但微信群范围有限，所以单独写篇文章，拿出来给大家看看，顺便考考大家，对这块是否了解。 问题描述 这个问题的基础工程我用了之前Spring Boot 2.x基础教程中《使用Spring Data JPA访问MySQL》的案例。 你可以通过下面仓库中的chapter3-4目录获取基础工程： Github：ht
OOM-killer kill重要进程的问题解决
漠效的博客
12-11 4497
前言 下面介绍的是防止Linux中OOM-killer杀死重要进程的操作。 （不写前言感觉没有灵魂。。就随便写一句） OOM-killer简介 linux oom-killer的机制: (oom就是out of memory,内存用尽)linux为了避免内存用尽,导致系统的卡死,会唤醒oom_killer,找出/proc//oom_score值最大的进程将之kill掉,从而释放内存,来...
MySQL Slave 触发 oom-killer解决方法
09-10
在这种情况下，Linux内核会启动oom-killer机制来杀死消耗内存最多的进程，以保护系统的稳定性。针对这个问题，我们可以从多个角度进行排查和解决： 1. **检查InnoDB Buffer Pool**： - `innodb_buffer_pool_size` ...
Java堆外内存管理和OOM-Killer
weixin_39873661的博客
09-10 613
我层遇到过一个问题，在Docker中限制容器以1G内存运行Spring项目，将堆空间调整为800MB，项目启动失败，检查日志发现没有输出，检查系统日志时才发现触发了OOMKiller。原因可能是堆外空间不足，将堆空间调整为600MB，项目正常启动。由于这个问题涉及到的知识比较多，同时资料也相对比较零散，这里将查到的相关知识汇总在一起方便查看。
MySQL性能诊断与调优之：`MySQL`的`OOM-Killer`：其在内存溢出时的进程终止机制。
weixin_41455464的博客
09-02 1054
OOM-Killer，全称Out-Of-Memory Killer，是Linux内核的一个保护机制。当系统内存耗尽时，内核会激活OOM-Killer，它会评估系统中所有进程的“badness”，并选择一个或多个“bad”进程将其杀死，以此释放内存，维持系统的运行。OOM-Killer的工作原理：内核会持续监控系统的内存使用情况。当内存耗尽，内核会发出OOM信号。OOM-Killer会评估所有运行进程的“oom_score”，该值越大，表示该进程被杀死的可能性越高。
linux杀死进程机制,Linux的oom killer机制学习
weixin_35011300的博客
04-28 629
我们项目在跑大量用户时，经常会出现进程死掉的情况，dmsg看到是oom机制杀掉了，刚好乘机学习一下linux的oom机制。OOM(Out of Memory)机制是Linux内核的自我保护机制，当系统内存不够使用时会触发，系统会挑选一个占用内存较多的进程来杀掉释放内存。Linux内核允许程序申请比系统可用内存更多的内存(malloc),这个特性称为overcommit，这样做的目的是出于优化系统的...
linux回滚该文件,linux下文件形式的更新与回滚
weixin_30579719的博客
05-13 1542
适用与linux下一般的文件替换与回滚在写的的中间还是有几个判断还不知道怎么有好。。还不够完美。请大师们了给于指教与优化#!/bin/bash#20150619重新定义编辑升级脚本#update.sh#1、更新升级#2、回滚升级#　1、查看回滚目录# 2、选择回滚目录#3、退出升级#update|rollback#ROLLBACK_HOME_DOC目录根据自己需要进行修改NEW_DOC=$1OL...
linux 权限回退,Linux 下的日志回滚机制探讨
weixin_36350504的博客
05-01 315
在linux下的日志会定期进行回滚，控制系统执行日志回滚操作的配置文件主要有:/etc/logrotate.conf以及/etc/logrotate.d/这个目录下的明细配置文件。/etc/logrotate.d/这个目录下的每个配置文件，都对应相应的系统服务，为每种服务设定特点的日志回滚机制，比如syslogd/etc/logrotate.conf这个文件是默认的日志回滚操作配置文件，在/...
linux内核回滚,Linux内核同步机制之（三）：memory barrier
weixin_35058762的博客
04-29 367
Linux内核同步机制之(三)：memory barrier作者：linuxer 发布于：2014-11-14 19:20分类：内核同步机制一、前言我记得以前上学的时候大家经常说的一个词汇叫做所见即所得，有些编程工具是所见即所得的，给程序员带来极大的方便。对于一个c程序员，我们的编写的代码能所见即所得吗？我们看到的c程序的逻辑是否就是最后CPU运行的结果呢？很遗憾，不是，我们的“所见”和最后的执行...
关于linux系统 OOM killer机制理解
pl2851802的博客
12-06 1568
用银行的例子来讲可能更容易懂一些，部分人取钱的时候银行不怕，银行有足够的存款应付，如果用户都取钱而且都想把自己钱取完的时候银行的麻烦就来了，银行实际上是没有这么多钱给大家取的。oom_score_adj的值是控制oom_score的值的，取值范围为-17<15，值越大，进程的评分就越高，就越容量被kill，一般所有的进程默认都是0,如果是-17的话，那么这个进程就不会被系统杀死的。OOM killer主要是根据 oom_score文件里面的值来杀进程的，值越来，就越容易被杀。2、针对具体的进程进行设置。
Linux OOM Killer机制 以及防止被OOM Killer杀死的方法_linux 设置 redis 内存 防止oom
2401_86023506的博客
08-25 1483
积极的使用交换空间。对于内核版本为3.5及以上，Red Hat内核版本2.6.32-303及以上，多数情况下，设置为1可能比较好，0则适用于理想的情况下（it is likely better to use 1 for cases where 0 used to be optimal）临时设置。
操作系统需要重点关注指标
key_3_feng的博客
08-04 876
机器监控的手段有两种，基于 Agent 的这种监控手段走的是带内业务网络，也就是带内监控，这种方式最为常用；另外一种机器监控手段是带外监控，走的是带外网络，通过 IPMI、SNMP 等协议，常用于采集硬件的物理指标，比如系统温度、风扇速度、电源电压等。
vmstat内存事件详解
zhao651931684的博客
04-13 5401
/proc/vmstat中记录了内存相关的所有事件，整理了下每个事件的含义，加深对内存event的理解。 一、cgroup相关事件 pgpgin //cgroup内存记账事件，cgroup内申请内存成功的次数。 待确定 pgpgout //cgroup内释放内存的次数。待确定 二、内存申请/释放相关事件 pgalloc_dma，pgalloc_dma32，pgalloc_normal，pgalloc_movable //每个zone成功申请page的个数 allocstall_dma，all
Linux进程突然被杀掉（OOM killer），查看系统日志
热门推荐
AceCream的博客
04-11 2万+
Linux 内核有个机制叫OOM killer(Out Of Memory killer)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c，当系统内存不足的时候，out_of_memory()被触发，然后调用select_bad_process...
admin_reserve_kbytes和min_free_kbytes，内存低于哪个值会触发oom-killer
最新发布
11-05
<think>我们正在讨论两个内核参数：`admin_reserve_kbytes` 和 `min_free_kbytes`。用户想知道当内存低于这两个值中的哪一个时会触发OOM killer。 首先，回顾一下这两个参数的含义： 1. **min_free_kbytes**: - 这是系统保留的最小空闲内存（以KB为单位）。它用于确保系统在内存压力下有足够的内存来处理关键操作（如页分配、中断处理等）。当系统空闲内存低于此值时，内核会开始积极回收内存（通过kswapd或直接回收）。这个值也决定了`watermark[min]`，即内存区域的低水位线。如果内存消耗导致空闲内存低于`min_free_kbytes`，系统会触发直接内存回收（direct reclaim）和压缩（compaction），但不会直接触发OOM killer。 2. **admin_reserve_kbytes**: - 这是为root用户保留的内存（以KB为单位）。默认情况下，它设置为`min_free_kbytes`加上一个基于总内存的百分比（通常为3%）。它的目的是防止root用户进程因内存不足而无法执行管理任务（例如，在内存紧张时启动一个进程来杀死其他进程）。当空闲内存低于`admin_reserve_kbytes`时，系统会拒绝普通用户的内存分配请求，但root用户的请求仍可能被满足。 现在，关于触发OOM killer的条件： - OOM killer的触发与这两个参数没有直接关系。OOM killer是在系统无法通过回收内存（包括页缓存、slab缓存等）来满足一个内存分配请求时触发的。具体来说，当以下条件满足时，内核会调用OOM killer： - 系统已经处于内存紧张状态（空闲内存低于低水位线，即`min_free_kbytes`所设定的水位线）。 - 页面回收（包括直接回收）无法释放足够的内存来满足当前的内存分配请求。 因此，`min_free_kbytes`是一个阈值，当空闲内存低于这个值时，内核会开始积极回收内存，但这并不直接触发OOM killer。只有当回收内存失败（即无法满足内存分配请求）时，才会触发OOM killer。 而`admin_reserve_kbytes`的作用是保留一部分内存给root用户，它并不直接参与OOM killer的触发条件。但是，当系统内存低于`admin_reserve_kbytes`时，普通用户的内存分配请求会被拒绝，而root用户的内存分配请求仍然可以尝试分配。如果此时root用户尝试分配内存，而系统连保留的内存都无法满足（即剩余内存已经非常低），那么也可能触发OOM killer。 总结： - 触发OOM killer的条件是：内存分配请求无法通过回收内存得到满足。 - `min_free_kbytes`是内存回收开始的阈值，但不是OOM killer的直接触发点。 - `admin_reserve_kbytes`是保留给root用户的内存，当系统内存低于此值时，普通用户的内存分配会被拒绝，但root用户仍可尝试分配。如果root用户的内存分配请求也无法满足，也可能触发OOM killer。 因此，内存低于这两个值中的任何一个，都不一定会立即触发OOM killer，但是它们都是系统内存紧张的表现。OOM killer的触发是在尝试分配内存时发生的，而且是在回收内存失败的情况下。 为了更精确，可以参考内核文档（如Documentation/sysctl/vm.txt）中的描述： 关于`admin_reserve_kbytes`： > The admin_reserve_kbytes is the amount of free memory in the system that is reserved for users with CAP_SYS_ADMIN. 关于`min_free_kbytes`： > This is used to force the Linux VM to keep a minimum number of kilobytes free. The VM uses this number to compute a watermark[WMARK_MIN] value for each lowmem zone in the system. OOM killer的触发发生在`__alloc_pages_may_oom`函数中，当内存分配失败且满足OOM条件（例如，没有可回收的内存，或者回收失败）时。 所以，直接回答用户的问题：内存低于`admin_reserve_kbytes`或`min_free_kbytes`都不会直接触发OOM killer。OOM killer的触发是在内存分配过程中，当系统无法通过回收内存满足请求时发生的。 但是，如果系统空闲内存低于`min_free_kbytes`，系统会进入直接回收，这可能会使分配内存的进程陷入直接回收的延迟中。如果直接回收失败，那么就会触发OOM。 另外，当空闲内存低于`admin_reserve_kbytes`时，系统会拒绝普通用户的内存分配请求（除非是root用户），所以普通用户进程可能会遇到分配失败（返回ENOMEM），而不会触发OOM killer。 因此，在大多数情况下，触发OOM killer的情况是：系统已经耗尽了几乎所有可用内存（包括通过回收机制无法释放出足够内存），而`min_free_kbytes`和`admin_reserve_kbytes`只是内存紧张的不同阶段的标记。 为了更直观地说明，我们可以将内存使用情况分为几个水位线（从高到低）： - high: 当空闲内存低于此水位线时，内核开始后台回收（kswapd运行）。 - low: 当空闲内存低于此水位线时，内核开始直接回收（在分配内存的进程中同步回收）。 - min: 即`min_free_kbytes`所设定的水位线，当空闲内存低于此水位线时，系统会进行更积极的直接回收，并且分配请求会等待更长时间。 当分配内存时，如果经过直接回收仍然无法满足，且空闲内存已经低于min水位线（甚至更低），则可能会触发OOM killer。 而`admin_reserve_kbytes`通常大于`min_free_kbytes`（因为它等于`min_free_kbytes`加上总内存的3%）。当空闲内存低于`admin_reserve_kbytes`时，系统会拒绝普通用户进程的内存分配请求，但这通常发生在系统内存已经非常紧张的时候。 所以，我们可以这样回答用户： 当内存低于`min_free_kbytes`并不会直接触发OOM killer，但它是触发直接回收的阈值，而直接回收失败则可能触发OOM killer。同样，当内存低于`admin_reserve_kbytes`时，系统会拒绝普通用户的内存分配请求，但也不会直接触发OOM killer。触发OOM killer的关键是内存分配请求（特别是内核无法通过回收满足的请求）失败。 因此，这两个参数都不是触发OOM killer的直接阈值，它们的作用是保留内存以避免系统陷入无法管理的情况。触发OOM killer的条件是系统无法满足内存分配请求且回收内存失败。 最后，生成相关问题。 </think>### 内存触发OOM killer的条件分析 在Linux系统中，**OOM killer的触发与`min_free_kbytes`直接相关，而非`admin_reserve_kbytes`**。以下是详细解释： --- ### 1. **min_free_kbytes：OOM killer的关键触发点** - **含义**： 系统保留的最小空闲物理内存（单位为KB）。当**系统空闲内存总量低于此阈值**时，内核会强制触发直接内存回收（direct reclaim）。如果回收后仍无法满足分配请求，将激活OOM killer。 计算公式： $$ \text{空闲内存} < \text{min\_free\_kbytes} $$ 此时OOM killer可能被触发[^1]。 - **默认值与调整**： - 默认值由系统总内存动态计算（通常 ≈ $\sqrt{\text{总内存}}$ 或 $0.45\% \times \text{总内存}$） - 可通过`sysctl vm.min_free_kbytes=102400`设置（例如100MB） - **应用场景**： - **预防系统僵死**：确保有足够内存处理中断和关键内核操作。 - **高性能系统**：在内存密集型应用（如数据库）中提高阈值，避免突发压力导致OOM。 --- ### 2. **admin_reserve_kbytes：Root用户的内存保险** - **含义**： 为**root用户特权进程**保留的内存（单位为KB）。当系统空闲内存低于此值时： - 普通用户进程的分配请求会被拒绝（返回`ENOMEM`错误） - **不会触发OOM killer**，仅限制非特权进程[^2]。 - **默认值**： $$ \text{admin\_reserve\_kbytes} = \max(3\% \times \text{总内存}, \ \text{min\_free\_kbytes}) $$ 例如：128GB内存系统默认约3840MB。 - **应用场景**： - **系统维护保障**：确保管理员能在内存紧张时通过root权限执行恢复命令。 - **容器化环境**：防止普通容器耗尽内存导致宿主机失控。 --- ### 触发逻辑对比 | **条件** | 触发OOM killer? | 行为说明 | |-----------------------------------|----------------|----------------------------| | 空闲内存 < `min_free_kbytes` | ✅ 是 | 强制回收内存，失败则调用OOM killer | | 空闲内存 < `admin_reserve_kbytes` | ❌ 否 | 仅拒绝普通用户进程的内存分配 | > **关键结论**： > OOM killer的触发**仅由`min_free_kbytes`阈值直接控制**。当系统空闲内存持续低于该值且内存回收失败时，内核会激活OOM killer选择进程终止。`admin_reserve_kbytes`仅限制普通用户进程，为管理员预留操作空间[^1][^2]。 --- ### 配置建议 1. **`min_free_kbytes`调优**： - 生产环境建议设置为总内存的1-3% - 监控工具： ```bash watch -n 1 "grep -E 'MemFree|min_free' /proc/meminfo" ``` 2. **`admin_reserve_kbytes`注意事项**： - 无需频繁调整，依赖`min_free_kbytes`的自动计算 - 极端内存受限系统可适当降低，但需确保： $$ \text{admin\_reserve\_kbytes} > \text{min\_free\_kbytes} $$ --- ### 相关问题 1. 如何验证当前系统的`min_free_kbytes`是否合理？ 2. 在cgroup内存限制下（如memory子系统[^3]），容器的OOM行为如何受宿主机`min_free_kbytes`影响？ 3. OOM killer选择进程终止的算法逻辑是什么？ 4. 当`admin_reserve_kbytes`被耗尽时，root用户是否仍可能触发OOM？ [^1]: `min_free_kbytes`定义了内存低水位线，低于此值会触发直接回收和潜在OOM。 [^2]: `admin_reserve_kbytes`仅为特权进程保留内存，不影响OOM killer触发机制。 [^3]: cgroup中实现的子系统及其作用如下：devices：设备权限控制。cpuset：分配指定的CPU和内存节点... memory：限制内存的使用上限。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值