段帅星的博客

记录关于rook-ceph运维的常见问题

当拔出硬盘后，内核会调用sd_remove（）函数卸载硬盘，正常情况下会清除该硬盘盘符占用的所有资源，包括SCSI盘符对应的IDR整数。但我们拔出硬盘时，若系统有进程正在访问该硬盘，则内核不会删除对应IDR的整数，该整数就会被占用，再次插入硬盘时，就分配新的IDR整数给盘符，导致盘符漂移。

可以通过ceph pg stat命令查看PG当前状态，健康状态为“active + clean”

kubeasz部署高可用kubernetes集群环境信息（本地PC资源不够，暂时中止部署）角色IP地址系统版本配置独立磁盘master1(etcd1)192.168.86.21centos7.82核2Gnonemaster2(etcd2)192.168.86.22centos7.82核2Gnonemaster3(etcd3)192.168.86.23centos7.82核2Gnonenode1192.168.86.24centos7

一、环境信息主机名IPk8s角色rook角色磁盘20Grook01192.168.86.36master,slavemon，mgr，osd，csi/dev/sdb-sddrook02192.168.86.37master,slavemon，mgr，osd，csi/dev/sdb-sddrook03192.168.86.38master,slavemon，mgr，osd，csi/dev/sdb-sddrook04192.168.86.39

一、环境信息主机名IPk8s角色rook角色磁盘20Grook01192.168.86.36master,slavemon，mgr，osd，csi/dev/sdb-sddrook02192.168.86.37master,slavemon，mgr，osd，csi/dev/sdb-sddrook03192.168.86.38master,slavemon，mgr，osd，csi/dev/sdb-sddrook04192.168.86.39

FAQ:1、现象：集群pg严重分布不均告警：Degraded data redundancy: 12 pgs undersized解决办法：ceph osd reweight-by-utilization

ceph 故障演练

ceph rbd image查看真实位置

ceph集群更换ip

velero备份k8s pvc

环境：主机IP系统版本内核版本服务角色服务版本192.168.86.36CentOS Linux release 7.7.1908 (Core)Linux 3.10.0-1062.9.1.el7.x86_64ceph rbd14.2.22192.168.86.37CentOS Linux release 7.7.1908 (Core)Linux 3.10.0-1062.9.1.el7.x86_64k8sk8s v1.22.2、ceph csi v3.4.0

单机单盘部署rbd

一、使用方法：docker 镜像方式构建离线源，方便在不同环境启动本地镜像源，启动方式可以是docker 也可以是 kubernetes镜像地址：registry.baidubce.com/tools/yum:ceph-nautilus镜像大小：637MB二、构建过程参考:https://blog.youkuaiyun.com/weixin_47003048/article/details/109537084...

一、部署dashboard1、安装并启动dashboardcd ceph-deploy-admin/yum -y install ceph-mgr-dashboardceph mgr module enable dashboard --force2、证书配置（使用自签证书参考：ceph dashboard证书）生成证书ceph dashboard create-self-signed-cert3、配置dashboard主机名和端口ceph config set mgr mgr/dash

一、高可用测试1、mon高可用测试1>模拟1个mon故障systemctl stop ceph-mon@ceph01.service#创建rbd看是否正常rbd create -p rbd-test --image rbd-mon-test.img --size 10Grbd ls -p rbd-test2>模拟2个mon故障systemctl stop ceph-mon@ceph01.servicesystemctl stop ceph-mon@ceph02.service

一、OSD纵向扩容

一、部署1、部署mds集群cd ceph-deploy-adminceph-deploy mds create ceph01 ceph02 ceph032、创建ceph-fs文件系统#创建poolceph osd pool create cephfs_metadata 64 64ceph osd pool create cephfs_data 64 64#创建文件系统关联pool ceph fs new cephfs-demo cephfs_metadata cephfs_data二

rgw

一、以volume方式使用ceph1、ceph端配置1>创建poolceph osd pool create kubernetes-rbd 64 642>创建用户ceph auth get-or-create client.kubernetes-rbd-user mon 'profile rbd' osd 'profile rbd pool=kubernetes-rbd'3>创建rbd块rbd create -p kubernetes-rbd --image-featur

一、创建存储池

一、基础环境原因：mon在集群内做为集群控制中心，包含整个集群状态，需要确保mon为高可用，一般是奇数个，比如1，3，5现状：1个mon，1个mgr需求：把ceph02、ceph03加入到mon集群二、扩展moncd ceph-deploy-admin/ceph-deploy mon add ceph02 --address 192.168.86.52ceph-deploy mon add ceph03 --address 192.168.86.53ceph quorum_status -

系统版本主机名ipcpu内存磁盘CentOS 7.7.1908ceph01 （ansible、mon、osd）192.168.86.514c8Gsda、sdb、sdc、sddCentOS 7.7.1908ceph02 （mon、osd）192.168.86.524c8Gsda、sdb、sdc、sddCentOS 7.7.1908ceph03 （mon、osd）192.168.86.534c8Gsda、sdb、sdc、sddCentO....

使用场景：云平台（OpenStack做为云的存储后端提供镜像存储）K8s容器map成块设备直接使用ISCIS，安装Ceph客户端RBD常用命令命令功能rbd create创建块设备映像rbd ls列出 rbd 存储池中的块设备rbd info查看块设备信息rbd diff可以统计 rbd 使用量rbd map映射块设备rbd showmapped查看已映射块设备rbd remove删除块设备rbd resize更改

环境准备：主机名IP地址系统版本CPU内存磁盘ceph01192.168.86.51centos 7.548Gsda 200G、sdb20Gceph02192.168.86.52centos 7.548Gsda 200G、sdb20Gceph03192.168.86.53centos 7.548Gsda 200G、sdb20G一、系统环境配置1、关闭防火墙（各个节点分别执行）systemctl stop firewallds

一、ceph 核心概念1、RADOS可靠的、自动化的、分布式对象存储系统。RADOS是Ceph集群的精华，用户实现数据分配、Failover等集群操作2、LibradosRados提供库，因为RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFS都是通过librados访问的，目前提供PHP、Ruby、Java、Python、C和C++支持3、CrushCrush算法是Ceph的两大创新之一，通过Crush算法的寻址操作，Ceph得以摒弃了传统的集中式存储元数据寻址方案。而Cr