lyf0327的博客

问题：ceph集群osd变为down的状态，并且重启osd也一直失败。 分析： [root@shnode183 ~]# systemctl status ceph-osd@14 ● ceph-osd@14.service - Ceph object storage daemon osd.14 Loaded: loaded (/usr/lib/systemd/system/ceph-osd@.service; enabled-runtime; vendor preset: disabled) Ac

问题：ceph集群突然mds全都无法启动，查询日志报错mds unable to obtain rotating service keys; retrying。 分析：节点时间不一致，ceph不但要求系统时间一致，还要求bios时间一致。 解决： 系统时间ntpdate调一致，然而并没有解决问题，还需要下一步 各节点hwclock -w把BIOS时间刷新。ceph竟然也依赖BIOS时间，也真是醉...

用于快速统计cephfs目录下存放的数据量： 命令格式： getfattr -d –m ceph.dir.* -m表示匹配模式 使用了getfattr命令，来获取文件系统给出的扩展属性 例： getfattr -d -m ceph.dir.* /mnt/cephfs getfattr -d -m ceph.dir.* /mnt/cephfs/dir1 #cd /mnt/cephfs/dir1 ...

**问题：**未知原因，有可能是服务器搬离机柜造成的。也有可能是osd crash出错，数据丢失，cephfs无法提供服务，经查，是没有active的mds了，所有的mds都是standby状态，并且有两个是dmaged的状态。 [root@node83 .ceph-cluster]# ceph health detail HEALTH_ERR 2 filesystems are degraded...

问题1：3 monitors have not enabled msgr2 解决：#ceph mon enable-msgr2

问题：ceph rdma协议的集群总是报daemons have recently crashed，而且数目越来越多，然并没有找到相关错误的日志 解决：可参考官网解决方案 RECENT_CRASH One or more Ceph daemons has crashed recently, and the crash has not yet been archived (acknowledged)...

需求：为提升ceph性能，采用infiniband 网卡 rdma协议，ceph-deploy安装方式是不支持rdma协议的，故只能采用源码安装，把rdma参数编译进去。 环境准备 IP host IOS 192.168.1.82 host82 centos7.7 admin 192.168.1.83 host83 centos7.7 node 192.168.1.84 ...

问题：ceph多 mds机制下，重启mds有个cephfs出现degraded的状态 分析：在某些mds备用不够的情况下，这个问题也可能会出现，应该是集群存储压力过大，osd有pg出现stuck的情况，一旦mds重启，元数据无法恢复，自然新备用的mds会一直是rejoin的状态。 解决：此次情况比较特殊，ceph health detail命令竟然看不到stuck的osd，解决如下： 把 使用率...

需求：机房停电，或者需要搬迁，需要所有ceph节点关机 操作; 关机： 第一步： 先在admin节点执行以下命令关闭集群流量 ceph osd set noout ceph osd set norecover ceph osd set norebalance ceph osd set nobackfill ceph osd set nodown ceph osd set pause ...

问题：有可能节点内存被某进程耗尽，造成多fs的某个mds 损坏 #ceph health detail HEALTH_ERR mds rank 0 is damaged; mds cluster is degraded mds.0 is damaged mds cluster is degraded 解决：ceph fs status查看损坏的fs Intelligent_Innovation_L...

转自http://www.cnblogs.com/sisimi/p/7804138.html luminous版本的ceph新增了一个功能crush class，这个功能又可以称为磁盘智能分组。因为这个功能就是根据磁盘类型自动的进行属性的关联，然后进行分类。无需手动修改crushmap，极大的减少了人为的操作。以前的操作有多麻烦可以看看：ceph crushmap ceph中的每个osd设备都可以...

aws自带的redhat yum 源缺很多库，安装有问题

1、$ ceph mgr module enable dashboard 2、添加（也可以不添加，未测试） vim /etc/ceph/ceph.conf [mgr] mgr_modules = dashboard 3、# ceph config-key put mgr/dashboard/server_addr 172.20.2.243 4、# netstat -antpl | grep cep...

Ceph 安装 参考文献： 1、 https://blog.youkuaiyun.com/jfengamarsoft/article/details/77683930 2、 https://blog.youkuaiyun.com/zcc_heu/article/details/79017624 3、 Ceph 官方下载地址http://download.ceph.com/rpm-luminous/el7/x86_64/ ...

问题描述： [root@k8s-master-2 ~]# ceph fs status Error EINVAL: Traceback (most recent call last): File “/usr/lib64/ceph/mgr/status/module.py”, line 310, in handle_command return self.handle_fs_status(cmd) ...

[root@k8s-master-1 ceph-cluster]# cat ceph.conf [global] fsid = 380d4224-78e1-4d19-95c7-74c278712b0e mon_initial_members = k8s-n2, k8s-m3, k8s-master-1, k8s-master-2, k8s-n1 #mon_host = 109.105.1.208,...

转自https://ceph.com/planet/ceph-recover的速度控制/ 前言 磁盘损坏对于一个大集群来说，可以说是必然发生的事情，即使再小的概率，磁盘量上去，总会坏那么几块盘，这个时候就会触发内部的修复过程，修复就是让不满足副本要求的PG，恢复到满足的情况 一般是踢掉坏盘和增加新盘会触发这个修复过程，或者对磁盘的权重做了修改，也会触发这个迁移的过程，本篇是用剔除OSD的方式来对这...

sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/’ /etc/selinux/config systemctl stop firewalld systemctl disable firewalld export http_proxy=http://...:8119 export https_proxy=http://...:8119 yum -y inst...

转自https://ceph.com/community/new-luminous-crush-device-classes/ New in Luminous: CRUSH device classes The flexibility of the CRUSH map in controlling data placement in Ceph is one of the system’s grea...