a13568hki的博客

openEuler 24.03 上 cephadm 认不出 chronyd，即使 chronyd 在运行也会报 No time sync。必须先创建一个 cephadm 能识别的兼容服务。一、先过掉 cephadm 的时间检查。二、安装ceph集群。

ceph-objectstore-tool是ceph提供的一个操作pg及pg里面的对象的高级工具。有些情况不应该通过ceph pg repair进行修复 ，当多副本数据存在不一致或主副本损坏导致的不一致时，是无法通过这个命令来完成修复的。需要停机维护时，ceph一定要正常停止服务，尽量避免强制关机，拔电源等骚操作，物理机确认正常后再启动ceph，避免重复启动osd。启动osd或创建某个pg的时候,需要同步该pg上所有osd中的pg状态，这个过程叫做peering过程。3、导出pg和导入pg。

这实际是调用bluestore中的fsck()函数，有deep、repair等选项，支持不同程度的检查工作。具体工作有：更新kvdb中super前缀信息（ondisk_format、min_alloc_size等，具体可查阅BlueStore::_upgrade_super()函数）、重放deferred_transaction、删除失效blob、删除错误pextent、更新bluefs文件系统信息等。所以fsck主要针对bluestore中的元数据信息的修复和检查。使用前，关闭对应 OSD 服务。

正确答案，但是我最终通过将这个属性添加到hive-site.xml中使它工作起来。

启动OwnCloud容器，没有镜像会自动下载。三、owncloud对接ceph对象存储。访问服务器IP，设置admin密码。二、初始化OwnCloud。一、安装OwnCloud。

修改集群配置启动 ceph 存储集群时，各守护进程都从同一个配置文件（默认的 ceph.conf ）里查找它自己的配置。ceph.conf 中可配置参数很多，有时我们需要根据实际环境对某些参数进行修改。修改的方式分为两种：直接修改 ceph.conf 配置文件中的参数值，修改完后需要重启 Ceph 进程才能生效。或在运行中动态地进行参数调整，无需重启进程。

集群出现pg状态变为 inconsistent 状态，inconsistent状态是pg通过scrub检测到某个或者某些对象在副本之间出现了不一致。找出异常的 pg，然后到对应的osd所在主机上修复。这里表示是主机intelligence-b-12。2.通过repair修复对应的pg。但是经过观察，并不能解决。4、修复（一般不需要）5、查看ceph的状态。

一、测试过程1、设置bucket类型为public-read 或者为public-reda-write的存储桶。下面这里建了一个public-read的存储桶，其中ACL:anon: READ 表示该存储桶的访问类型为public-read类型。2、向该存储桶上传文件。并查看对象的权限。3、打开浏览器，打开console,输入以下代码，进行访问测试执行回车，结果如下：4、设置CORS规则5、访问测试看上图还是不能访问，提示accessdenied。

某运营商的Kubernetes项目物理机停机维护，重启后Kubernetes部分pod无法挂载PVC，请求超时。该Kubernetes集群的后端存储使用ceph rbd块存储，检查ceph集群状态异常。集群检查提示PG_AVAILABILITY(数据可用性降低)，这说明群集无法满足群集中某些数据的潜在读取或写入请求。即有12个PG处于不允许为IO请求提供服务的状态。

一、安装环境node1 10.3.45.112node2 10.3.45.113node3 10.3.45.115硬件配置：1C1G，另外每台机器器最少挂载二块硬盘二、环境准备，每台都得执行（1）关闭防火墙：systemctl stop firewalldsystemctl disable firewalld（2）关闭selinux：sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0（3）关闭NetworkM

原始需求是在使用cephfs的时候，部署完mds服务之后，比如部署了3个mds服务，但是由于某种原因不需要3个，或者想更换mds服务所在节点时，就需要用到彻底删除某个节点上的mds服务了。一、下线某个节点上的mds服务1、停止mds服务 systemctl stop ceph-mds@bd-server-5.service2、删除该mds在集群里面的认证信息ceph auth del mds.bd-server-53、禁用该mds服务（如果没有此步骤，下次开机时会自动启动该mds服务）[

一、安装环境node1 10.3.45.112node2 10.3.45.113node3 10.3.45.115硬件配置：1C1G，另外每台机器器最少挂载二块硬盘二、环境准备，每台都得执行（1）关闭防火墙：systemctl stop firewalldsystemctl disable firewalld（2）关闭selinux：sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0（3）关闭NetworkM

1.查看当前集群full以及nearfull的设置值,在Mon节点查询Mon配置ceph --admin-daemon /run/ceph/ceph-mon.IP.asok config show | grep full_ratio2.查看当前集群full以及nearfull的设置值,在其他节点查询osd配置ceph --admin-daemon /run/ceph/ceph-osd.0.asok config show | grep full3.遇到集群full的告警，并且存储不能写入数据

问题ceph health detail1.修复pgceph pg repair 6.e12.修复pg设置的两块osdceph osd repair 19ceph osd repair 73.查询pg使用的主机osdceph pg 6.e1 query|grep primary4.systemctl stop ceph-osd@19.servicesystemctl start ceph-osd@19.service...

ceph pg ls-by-osd osd.0 |awk '{printf"%s\t%s\n",$1,$15}'1.3 [0,1]1.b [0,1]1.c [0,1]1.60 [0,1]1.63 [0,1]1.65 [0,1]1.6b [0,1]1.70 [0,1]1.73 [0,1]1.79 [0,1]2.1 [0,1]2.6 [0,1]意思是查看osd.0上的pg分布，可以看到pg主要分布在0，1上单个pg迁移ceph osd pg-upmap-items 1.

##1.引言 本文说明了如何查看每个BUCKET对应的索引信息，以及所在的OSD位置，为以后运维做参考。##2.实验过程###2.1 罗列出当前系统下所有的bucket信息[root@node1 ~]# radosgw-admin bucket list[ "ntc-oss-large-file-bda", "ntc-oss-large-file-html", "ntc-oss-large-file", "ntc-oss-large-file-eml"]上述命令

提示：每台ceph节点都要执行yum -y install ceph-deployhostname=`hostname`ceph-deploy purge $hostnameceph-deploy purgedata $hostnameceph-deploy forgetkeys# osd 卸载命令 dmsetup status #查询所有ceph osd 或者vgscan + vgremove 加查询出来的iddmsetup remove_all #删除所有查询的内容...

背景　　OS：Ubuntu 16.04　　修改了osd的一些配置，修改后，需要重启osd服务才能生效。第一次重启后，配置立刻生效。再改了一些配置，重启osd服务后，配置却不再生效了。ps命令查看进程，发现osd进程都没有启动。分析　　osd进程未启动，第一直觉就是配置出错，osd进程启动后又挂掉。于是，进入/var/log/ceph目录，查看ceph-osd.0.log，发现日志末尾只有关闭进程的相关日志，并没有osd启动的信息。再查看该日志的时间，时间就是关闭服务时的时间。换句话说，第二次重启服务

环境node110.0.40.133master节点 && ceph节点node210.0.40.134ceph节点node310.0.40.135ceph节点node410.0.40.136下线增节点在这里插入图片描述一、在master节点停止node4进程,并卸载node4的ceph[root@node1 ceph]# ceph-deploy purge node4[root@node1 ceph]# ceph-deploy

#1.添加Mon 当前ceph的状态 # ceph -s cluster f4833745-d220-407b-82ea-72eb6297d435 health HEALTH_OK monmap e3: 3 mons at {dlw1=172.16.40.11:6789/0,dlw2=172.16.40.12:6789/0,dlw3=172.16.40.13:6789/0} election epoch 14, quorum 0,1,2 dlw1,dlw2,dlw3 osdmap e26: 3 osds:

[root@node1 ~]# rados -p testpool ls2017-10-21 06:13:25.743045 7f8f89b6d700 0 -- 192.168.197.154:0/2548055958 >> 192.168.197.157:6800/16701 conn(0x7f8f7c0062d0 :-1 s=STATE_CONNECTING_WAIT_CONNECT_REPLY_AUTH pgs=0 cs=0 l=1).handle_connect_reply conn

1、删除osd查看osdceph osd tree2、停止此osd进程，执行,我的因为坏盘原因已经停止systemctl stop ceph-osd@03、删除上面创建的osd。，数据和日志在同一个磁盘上的osd ，将osd.0踢出集群，执行ceph osd out 04、然后执行：ceph osd crush remove osd.0,此时osd.10已经不再osd tree中了ceph osd crush remove osd.05、执行ceph auth del osd

执行ceph –s 发现集群状态并非ok，具体信息如下：$ sudo ceph -s cluster 257faba1-f259-4164-a0f9-1726bd70b05a health HEALTH_WARN too few PGs per OSD (16 < min 30) monmap e1: 1 mons at {bdc217=192.168.13.217:6789/0} election epoch 2, quo

yum install ceph ceph-radosgw -y 报错如下–> 解决依赖关系完成错误：软件包：1:ceph-radosgw-10.2.2-0.el7.x86_64 (ceph_local)需要：libfcgi.so.0()(64bit)错误：软件包：1:ceph-common-10.2.2-0.el7.x86_64 (ceph_local)需要：libbabeltrace-ctf.so.1()(64bit)错误：软件包：1:librgw2-10.2.2-0.el7.x86

1、安装环境三台Centos7虚拟机node1 10.0.40.133node2 10.0.40.134node3 10.0.40.135硬件配置：1C1G，另外每台机器器最少挂载二块硬盘2、环境准备（1）关闭防火墙：systemctl stop firewalldsystemctl disable firewalld（2）关闭selinux：sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0（3）关闭Ne

需要注意的是，这个参数不会持久化， 当该osd out 时，reweight的值为0 ，当该osd重新up时，该值会恢复到1，而不会保持之前修改过的值。osd提示即将爆满更改权重解决ceph osd reweight osd.70 0.7

配置里的rgw配额是10000000写满：s3cmd put 时提示 ERROR: S3 error: 403 (QuotaExceeded)rgw_bucket_default_quota_max_objects 值为 -1查看配额信息radosgw-admin user info --uid=admin"bucket_quota": { "enabled": true, "check_on_raw": false, "max_size": -1, "max_siz

1、简介1.1 介绍作为 集群 管理 人员，可以 通过 很多种 方式 操纵 集群；可以 根据 实际 需要 开启、关闭 和 重启 ceph 进程 服务；本文 简单 描述 了 关于 systemctl 服务 管理 ceph 存储 集群（关于 systemctl 原理 后期 有机会 再 详细描述）1.2 操作系统本文操作系统 Ubuntu 16.04 amd64发行版本号 xeniallsb_release -a2、开启、关闭 和 重启 所有 ceph 服务systemctl { start |

全局Ceph节点宕机处理在极端情况下，如数据中心断电，造成 Ceph 存储集群全局宕机，可以按照本节所示流程进行 Ceph 集群上电恢复操作。1、手动上电执行步骤如为 Ceph 集群上电，monitor server 应最先上电；集群上电前确认使用 Ceph 之前端作业服务已停止。使用 IPMI 或于设备前手动进行上电。确认 NTP 服务及系统时间已同步，命令如下： ps-ef | grep ntp date ntpq -p登入上电之 ceph server 确认 ceph servic

前言在ceph的实际应用中，我们常常发现存在数据分布不均衡的情况，这个情况在存储池水位达到百分之八十以上后犹为明显。在ceph出现了数据分布不均衡的时候，我们可以选择人工干预，通过调整pg分布来 达到数据（大致）均衡。从Luminous v12.2.z开始，OSDMap中有一个新的pg-upmap异常表，允许集群将特定的PG显式映射到特定的OSD。本文记录一次该方案的实践。实践1.问题描述单机ceph环境，正常存储数据，当数据存储达到86%时，发现集群状态error，告警有1个osd满了。具体的

1、扩容节点主节点操作，新增节点安装cd /etc/cephceph-deploy install --no-adjust-repos node42、主节点操作，在ceph配置文件中添加新增节点rgw 的配置vim ceph.conf[client.rgw.node4]rgw_frontends = "civetweb port=8899 num_threads=5000"3、主节点操作，将配置文件发送到所有节点ceph-deploy --overwrite-conf admin

前提已搭建好ceph集群一、搭建owncloud1.环境准备lamp：（有mysql可以不安 mariadb mariadb-server）yum install httpd mod_ssl php php-gd php-xml php-mysql php-mbstring mariadb mariadb-server2、启动httpd和mysqlsystemctl start mariadbsystemctl start httpd3、配置mariadb数据库[root@ node1