ceph osd内存溢出，osd进程限制隔离

原创

已于 2022-12-28 14:46:45 修改 · 4.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ceph #linux #bash

于 2019-11-18 03:22:14 首次发布

针对生产环境中Ceph OSD节点内存溢出问题，本文介绍了通过系统cgroup限制osd进程内存使用，防止内存达到90%时导致集群宕机。详细步骤包括创建cgroup目录，设置内存限制，以及使用bash脚本监控和重启osd.target服务，确保集群稳定运行。

生产集群出现osd节点内存溢出的现象，现象为：现有集群其他节点内存使用率都为90%左右的情况下，重启1台ceph-osd.target，会导致集群在重平衡时，导致其他osd节点内存上升，系统宕机，从而导致整个集群不可用；
操作方法：
1.系统层面cgroup限制内存，脚本如下，60G为osd进程使用内存，系统内存预留32G：

$cat cgroup.sh

#!/bin/bash
if [ ! -d /sys/fs/cgroup/memory/OSD ] ; then
mkdir /sys/fs/cgroup/memory/OSD
echo “60G” > /sys/fs/cgroup/memory/OSD/memory.limit_in_bytes
fi
for i in $(ps -eo pid,cmd | grep ceph-osd | grep cluster | grep -v grep | awk ‘{ print $1 }’) ; do echo $i > /sys/fs/cgroup/memory/OSD/tasks ; done

2.执行脚本

  $ chmod +x cgroup.sh 
  $ systemctl restart ceph-osd.target
  $ bash cgroup.sh

3.最好使用contab,定时检查

 $cat check_mem_kill_osd.sh

#!/bin/bash
USE_MEM=$(free -mh | grep Mem | awk -F ’ ’ ‘{print $3}’ | awk -F ‘G’ ‘{print $1}’)
if [ $USE_MEM -gt 90 ]; then
systemctl restart ceph-osd.target
/bin/bash /root/cgr