Linux OOM-killer

最新推荐文章于 2024-08-25 19:41:36 发布
原创 最新推荐文章于 2024-08-25 19:41:36 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

本文深入探讨了Linux系统中的内存管理机制，特别是OOM-Killer的作用及其工作原理，通过实例分析如何有效避免因内存不足导致的系统崩溃，并介绍了如何调整系统配置以优化内存使用效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前天线上出了个502错误，经排查是某开发人员写了条性感的程序吃掉了大部分内存，触发OOM-killer杀死Nginx
查看日志/var/log/messages发现类似"Out of Memory: Kill process..."错误
以前不了解OOM-killer{out of memory killer }，今天碰巧放假一天，借此学习下，涨涨姿势！

OOM_killer是Linux自我保护的方式，当内存不足时不至于出现太严重问题，有点壮士断腕的意味
在kernel 2.6，内存不足将唤醒oom_killer，挑出/proc/<pid>/oom_score最大者并将之kill掉

为了保护重要进程不被oom-killer掉，我们可以：echo -17 > /proc/<pid>/oom_adj,-17表示禁用OOM
我们也可以对把整个系统的OOM给禁用掉：
sysctl -w vm.panic_on_oom=1
sysctl -p

值得注意的是，有些时候 free -m 时还有剩余内存，但还是会触发OOM-killer，可能是因为进程占用了特殊内存地址

平时我们应该留意下新进来的进程内存使用量，免得系统重要的业务进程被无辜牵连
可用 top M 查看最消耗内存的进程，但也不是进程一超过就会触发oom_killer
参数/proc/sys/vm/overcommit_memory可以控制进程对内存过量使用的应对策略
当overcommit_memory=0 允许进程轻微过量使用内存，但对于大量过载请求则不允许
当overcommit_memory=1 永远允许进程overcommit

当overcommit_memory=2 永远禁止overcommit


参考文章：
http://laoxu.blog.51cto.com/4120547/1267097
http://rdc.taobao.com/team/jm/archives/2001


By DBA_WaterBin

2013-09-28

Good Luck

Linux实战-2：内存不足触发Linux OOM-killer机制分析
zhuyunier的博客
12-13 1万+
启动我们的程序长时间拉流一段时间，系统内存不足导致触发linux的OOM killer保护机制，kill掉内存占用较高的HPC03C进程 ，打印如下： [16321.605050] HPC03C invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0 [16321.645746] CPU: 0 PID: 119 Comm: HP...
linux大量读取磁盘文件oom,Linux读取文件，导致内存高，触发oom-killer问题解决
weixin_30341571的博客
05-06 823
最近遇到两起Linux的内存问题，其一是触发了oom-killer导致系统挂1. 首先确认该系统的版本是32位2. 我们了解一下32位Linux的内存管理结构内核使用low memory来跟踪所有的内存分配，这样的话一个16GB内存的系统比一个4GB内存的系统，需要消耗更多的low memory，当low memory耗尽，即便系统仍然有剩余内存，仍然会触发oom-killer。在2.6内核的表现...
Linux开发心得总结5 - Linux下OOM Killer机制详解
ynttmp的专栏
03-01 1380
Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了（泪流满面）。重启机器后
实验环节：研究top的几个内存参数，Linux在内存不足时oom killer kill低优先级进程，fork进程，系统假死，swap交换区（虚拟内存）设置
MJ的博客
11-21 1408
情景1 设置物理内存256MB，启动，xshell连接上去会感觉很卡，这时物理内存用完并用去部分虚拟内存。swapon -s 当尝试swapoff -a关闭交换区时，会报错不能分配内存，如果关闭交换区就不足支持系统进行运行。这时另一个窗口可看到 情景2 从上可以看出，系统正常运行需要约512M内存。关闭系统，从新设置物理内存512M，这时是可以成功关闭交换区的，并且系统也不...
这几个事务案例会回滚吗？最后一个90%的人判断错了...
程序猿DD
06-30 1399
下面这个问题源于前几日在我们的Spring技术交流群里，一个群友提出的关于事务回滚的疑问。 在讨论过程中，我尝试去复现群友提出的问题场景，发现了另外一个可能让大家会迷惑的情况。 当时在群里说了结果和原因，但微信群范围有限，所以单独写篇文章，拿出来给大家看看，顺便考考大家，对这块是否了解。 问题描述 这个问题的基础工程我用了之前Spring Boot 2.x基础教程中《使用Spring Data JPA访问MySQL》的案例。 你可以通过下面仓库中的chapter3-4目录获取基础工程： Github：ht
OOM-killer kill重要进程的问题解决
漠效的博客
12-11 4349
前言 下面介绍的是防止Linux中OOM-killer杀死重要进程的操作。 （不写前言感觉没有灵魂。。就随便写一句） OOM-killer简介 linux oom-killer的机制: (oom就是out of memory,内存用尽)linux为了避免内存用尽,导致系统的卡死,会唤醒oom_killer,找出/proc//oom_score值最大的进程将之kill掉,从而释放内存,来...
MySQL Slave 触发 oom-killer解决方法
09-10
在这种情况下，Linux内核会启动oom-killer机制来杀死消耗内存最多的进程，以保护系统的稳定性。针对这个问题，我们可以从多个角度进行排查和解决： 1. **检查InnoDB Buffer Pool**： - `innodb_buffer_pool_size` ...
Linux的OOM-kill监控
weixin_72585038的博客
01-12 1211
proc是linux系统中的一个虚拟文件系统，它实际上不含有任何真正的文件，/proc中的文件如同linux内核中的内部数据结构的接口，通过这些接口，我们可以在系统运行时获取系统信息或者改变内核参数。proc放置的数据都是在内存当中，例如系统内核、进程、外部设备的状态及网络状态等。因为这个目录下的数据都是在内存当中，所以本身不占任何硬盘空间。/proc文件系统包含有每个进程的目录，每个进程由其PID号表示的文件夹表示，例如 进程44855相关信息存放在/proc/44855中。
linux杀死进程机制,Linux的oom killer机制学习
weixin_35011300的博客
04-28 582
我们项目在跑大量用户时，经常会出现进程死掉的情况，dmsg看到是oom机制杀掉了，刚好乘机学习一下linux的oom机制。OOM(Out of Memory)机制是Linux内核的自我保护机制，当系统内存不够使用时会触发，系统会挑选一个占用内存较多的进程来杀掉释放内存。Linux内核允许程序申请比系统可用内存更多的内存(malloc),这个特性称为overcommit，这样做的目的是出于优化系统的...
linux回滚该文件,linux下文件形式的更新与回滚
weixin_30579719的博客
05-13 1508
适用与linux下一般的文件替换与回滚在写的的中间还是有几个判断还不知道怎么有好。。还不够完美。请大师们了给于指教与优化#!/bin/bash#20150619重新定义编辑升级脚本#update.sh#1、更新升级#2、回滚升级#　1、查看回滚目录# 2、选择回滚目录#3、退出升级#update|rollback#ROLLBACK_HOME_DOC目录根据自己需要进行修改NEW_DOC=$1OL...
linux 权限回退,Linux 下的日志回滚机制探讨
weixin_36350504的博客
05-01 291
在linux下的日志会定期进行回滚，控制系统执行日志回滚操作的配置文件主要有:/etc/logrotate.conf以及/etc/logrotate.d/这个目录下的明细配置文件。/etc/logrotate.d/这个目录下的每个配置文件，都对应相应的系统服务，为每种服务设定特点的日志回滚机制，比如syslogd/etc/logrotate.conf这个文件是默认的日志回滚操作配置文件，在/...
linux内核回滚,Linux内核同步机制之（三）：memory barrier
weixin_35058762的博客
04-29 337
Linux内核同步机制之(三)：memory barrier作者：linuxer 发布于：2014-11-14 19:20分类：内核同步机制一、前言我记得以前上学的时候大家经常说的一个词汇叫做所见即所得，有些编程工具是所见即所得的，给程序员带来极大的方便。对于一个c程序员，我们的编写的代码能所见即所得吗？我们看到的c程序的逻辑是否就是最后CPU运行的结果呢？很遗憾，不是，我们的“所见”和最后的执行...
关于linux系统 OOM killer机制理解
pl2851802的博客
12-06 1416
用银行的例子来讲可能更容易懂一些，部分人取钱的时候银行不怕，银行有足够的存款应付，如果用户都取钱而且都想把自己钱取完的时候银行的麻烦就来了，银行实际上是没有这么多钱给大家取的。oom_score_adj的值是控制oom_score的值的，取值范围为-17<15，值越大，进程的评分就越高，就越容量被kill，一般所有的进程默认都是0,如果是-17的话，那么这个进程就不会被系统杀死的。OOM killer主要是根据 oom_score文件里面的值来杀进程的，值越来，就越容易被杀。2、针对具体的进程进行设置。
Linux OOM Killer机制 以及防止被OOM Killer杀死的方法_linux 设置 redis 内存 防止oom
2401_86023506的博客
08-25 1272
积极的使用交换空间。对于内核版本为3.5及以上，Red Hat内核版本2.6.32-303及以上，多数情况下，设置为1可能比较好，0则适用于理想的情况下（it is likely better to use 1 for cases where 0 used to be optimal）临时设置。
Java堆外内存管理和OOM-Killer
weixin_39873661的博客
09-10 529
我层遇到过一个问题，在Docker中限制容器以1G内存运行Spring项目，将堆空间调整为800MB，项目启动失败，检查日志发现没有输出，检查系统日志时才发现触发了OOMKiller。原因可能是堆外空间不足，将堆空间调整为600MB，项目正常启动。由于这个问题涉及到的知识比较多，同时资料也相对比较零散，这里将查到的相关知识汇总在一起方便查看。
操作系统需要重点关注指标
key_3_feng的博客
08-04 640
机器监控的手段有两种，基于 Agent 的这种监控手段走的是带内业务网络，也就是带内监控，这种方式最为常用；另外一种机器监控手段是带外监控，走的是带外网络，通过 IPMI、SNMP 等协议，常用于采集硬件的物理指标，比如系统温度、风扇速度、电源电压等。
vmstat内存事件详解
zhao651931684的博客
04-13 5083
/proc/vmstat中记录了内存相关的所有事件，整理了下每个事件的含义，加深对内存event的理解。 一、cgroup相关事件 pgpgin //cgroup内存记账事件，cgroup内申请内存成功的次数。 待确定 pgpgout //cgroup内释放内存的次数。待确定 二、内存申请/释放相关事件 pgalloc_dma，pgalloc_dma32，pgalloc_normal，pgalloc_movable //每个zone成功申请page的个数 allocstall_dma，all
Monitor invoked oom-killer: gfp_mask=0x7080c0(GFP_KERNEL_ACCOUNT|__GFP_ZERO), nodemask=(null), order=1, oom_score_adj=0
最新发布
03-22
<think>嗯，用户遇到了一个系统提示：“Monitor invoked oom-killer: gfp_mask=0x7080c0(GFP_KERNEL_ACCOUNT|__GFP_ZERO), nodemask=(null), order=1, oom_score_adj=0”，需要解释这个错误信息。首先，我要理解这个日志的含义。 首先，oom-killer是Linux内核在内存不足时触发的机制，用于终止进程以释放内存。用户看到的这条信息是系统在内存严重不足时，oom-killer被调用的记录。接下来需要拆解各个参数的意义。 gfp_mask=0x7080c0，这部分是内存分配标志的组合。GFP_KERNEL_ACCOUNT表示内核为某个进程分配内存并进行统计，可能用于cgroup等记账机制。__GFP_ZERO表示分配的内存会被初始化为零。组合起来，这次内存请求可能需要内核账户统计，并且需要清零的内存区域。 nodemask=(null)说明没有指定特定的NUMA节点，可以在所有节点分配内存。order=1表示请求分配2^1=2个连续的内存页，即8KB（假设页大小为4KB）。oom_score_adj=0说明触发oom-killer的进程的调整值为0，通常这个值越低，进程越不容易被杀死，但这里可能因为系统整体内存不足，即使调整值为0的进程也可能被终止。 接下来需要分析可能的原因。系统物理内存不足，或者存在内存泄漏导致内存耗尽。另外，虽然order=1看起来不大，但连续内存分配失败可能也是问题。还有cgroup的内存限制可能导致即使系统有空闲内存，特定cgroup中的进程也无法分配。 解决方案方面，需要检查内存使用情况，可以用free -h或top命令。检查内核日志dmesg获取更多OOM相关信息，找到被终止的进程。调整oom_score_adj可能预防问题，但需谨慎。增加系统内存或优化应用程序的内存使用也是根本方法。检查cgroup配置，确保没有不合理的内存限制。 用户可能需要具体的命令和步骤，比如如何查看内存，如何分析日志，如何调整参数。需要确保回答清晰，步骤明确，帮助用户逐步排查问题。同时提醒用户注意数据备份，避免在OOM发生时数据丢失。</think>这个日志信息是 Linux 系统在内存耗尽时触发的 `oom-killer` 机制的记录。以下是逐层解析和应对建议： --- ### 一、关键信息拆解 1. **`Monitor invoked omm-killer`** - 表示系统检测到内存不足（Out Of Memory），触发内核的 `oom-killer` 机制，该机制会强制终止某些进程以释放内存。 2. **`gfp_mask=0x7080c0(GFP_KERNEL_ACCOUNT|__GFP_ZERO)`** - `gfp_mask` 是内存分配的标志位组合： - `GFP_KERNEL_ACCOUNT`: 内核为进程分配内存时需进行会计统计（常用于 cgroup 内存控制）。 - `__GFP_ZERO`: 分配的内存需初始化为零值。 - 此标志组合表示内核正在尝试为某个进程分配需记账且清零的内存区域。 3. **`nodemask=(null)`** - 未指定 NUMA 节点（即允许在所有内存节点分配内存）。 4. **`order=1`** - 请求分配 $2^{\text{order}}$ 个连续物理页（通常页大小为 4KB，即申请 $2^1 \times 4\text{KB} = 8\text{KB}$ 连续内存）。 5. **`oom_score_adj=0`** - 触发 OOM 的进程的优先级调整值为 0（范围 -1000~1000，值越低越不易被终止）。 --- ### 二、可能原因 1. **系统物理内存不足** - 应用程序或内核模块消耗过多内存。 - 内存泄漏（如内核驱动或用户态进程未释放内存）。 2. **连续内存分配失败** - 尽管 `order=1` 请求的内存较小，但内核无法找到足够的连续物理页。 3. **cgroup 内存限制** - 若进程受 cgroup 限制，即使系统整体内存充足，进程也可能因 cgroup 配额耗尽触发 OOM。 --- ### 三、排查与解决步骤 #### 1. 检查内存使用情况 ```bash # 查看整体内存状态 free -h # 监控进程内存占用 top -o %MEM ``` #### 2. 分析 OOM 日志 ```bash # 查看完整内核日志（关注 OOM 前后的记录） dmesg | grep -i "oom-killer" dmesg | grep -i "killed process" ``` #### 3. 定位问题进程 - 日志中会记录被终止的进程名和 PID，例如： `Killed process 1234 (your_process)` #### 4. 调整 OOM 优先级（谨慎操作） ```bash # 降低某进程被终止的概率（值越小越安全） echo -100 > /proc/<PID>/oom_score_adj ``` #### 5. 优化内存使用 - 升级物理内存。 - 优化应用程序代码（减少内存泄漏，限制缓存大小）。 - 调整内核参数（如 `vm.overcommit_memory`）。 #### 6. 检查 cgroup 限制 ```bash # 若使用容器（如 Docker），检查内存限制 docker inspect <container_id> | grep -i "memory" ``` --- ### 四、典型场景示例 - **场景 1**：数据库服务（如 MySQL）因未配置内存上限，导致占用所有内存。 **解决**：在配置文件中限制 `innodb_buffer_pool_size`。 - **场景 2**：内核驱动存在内存泄漏。 **解决**：更新驱动或通过 `vmstat -s` 监控内核内存使用。 --- 若需进一步分析，请提供完整的 `dmesg` 日志或应用程序内存配置细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值