ceph balancer相关命令

最新推荐文章于 2024-06-04 10:53:02 发布
最新推荐文章于 2024-06-04 10:53:02 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： ceph运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_23929673/article/details/94403215
本文详细介绍了如何使用Ceph的管理模块进行存储集群的平衡优化，包括启用平衡器、设置平衡参数、评估和执行优化计划等关键步骤，为用户提供了一套完整的Ceph存储优化方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ceph mgr module ls
ceph mgr module enable balancer
ceph balancer on
ceph balancer mode crush-compat
ceph config-key set “mgr/balancer/max_misplaced”: “0.01”
ceph config-key dump
ceph balancer status
ceph balancer eval
ceph balancer optimize myplan
ceph balancer eval myplan
ceph balancer show myplan
ceph balancer execute myplan
ceph balancer reset

ceph balancer optimize myplan 报错 Too many objects xxx are misplaced； try again later
weixin_40548182的博客
05-20 52
这个错误表明在执行ceph balancer optimize myplan命令时，集群中有39.9%的对象处于错位状态，超过了默认5%的阈值限制，因此操作被拒绝。以下是解决方案：关闭自动均衡另外如果不关闭自动均衡，仍然会报错。
ceph第十篇: ceph监控和ceph的dashboard
最新发布
weixin_43743301的博客
04-11 219
默认组成集群后只有一个9283端口的IP可以被访问到，再次访问第二个会一直白屏状态，但是不通过同一个IP访问，为了方便在单台故障的时候也能访问到，就直接加了个负载。我们需要监控的是两台mgr节点的Prometheus数据。这里的数据可以直接被Prometheus监控。ceph-cluster集群模板 7056。ceph-cluster集群模板 7056。启用ceph的Prometheus模块。Ceph - Pools模板 5342。Ceph - Pools模板 5342。导入Prometheus模板。
ceph集群数据均衡工具balancer
qq_43604376的博客
06-04 1857
ceph balancer
ceph BALANCER
HHFQ的博客
11-01 1390
balancer 可以优化OSD上PG的放置，以自动或以监督方式实现均衡分布。 状态 balancer的当前状态可以随时通过以下方式检查： ceph balancer status 自动均衡 可以使用默认设置启用自动平衡，方法是： ceph balancer on 可以使用以下方法再次关闭balancer： ceph balancer off 这将使用与旧客户端向后兼容的crush-compat模式，并且随着时间的流逝对数据分布进行细微更改，以确保OSD被平等地利用。 节流 如果集群降级（例如，因为O
ceph的pg平衡插件balancer
HHFQ的博客
12-19 1426
ceph的pg平衡插件balancer 原作者：武汉-运维-磨渣 原文地址：https://www.cnblogs.com/zphj1987/p/13575484.html 前言 ceph比较老的版本使用的reweight或者osd weight来调整平衡的，本篇介绍的是ceph新的自带的插件balancer的使用，官网有比较详细的操作手册可以查询 使用方法 查询插件的开启情况 [root@node1 ceph]# ceph mgr module ls { "enabled_modules": [
ceph 数据均衡(balance)
baidu_39240038的博客
03-26 4375
设置集群仅支持 Luminous（或者L之后的）客户端 我采用octopus: ceph osd set-require-min-compat-client octopus 或 ceph osd set-require-min-compat-client octopus --yes-i-really-mean-it 步骤： 1.获取集群当前的osdmap信息 为防止文件混乱，特意新建了文件夹 (在cephadm shell中执行) mkdir /root/data ceph osd getmap -o
Ceph浅析（中）：结构、工作原理及流程
linux内核
12-09 1890
http://www.youkuaiyun.com/article/2014-04-08/2819192-ceph-swift-on-openstack-m摘要：其命名和UCSC（Ceph诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。【编者按】Ceph，当下已成为OpenStack上最通用的存...
最全OpenStack、ceph相关命令
KAKGM的博客
04-22 939
value：key具体的属性值，如--disk=10，即分配10Gb磁盘空间。key：包括但不限于--vcpu、--ram、--disk等；xxx：flavorID声明。n：vcpu的分配个数。k：磁盘空间分配大小。
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了_ceph osd 数据平衡
2401_84263282的博客
04-13 1084
后续会持续更新**
mgr balancer模式探索及配置方法
ff_gogo的博客
02-27 4458
一、简介 Mgr提供了很多有用的模块，可以通过ceph mgr module ls命令进行查询，其中enabled_modules表示已经使能的，而disabled_modules表示未使能的模块，使能一个模块可以使用ceph mgr module enable $module_name命令，本文主要介绍其中一个模块：balancer。 balancer模块用于平衡pg到osd的分布，从而平均os...
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了
zerotoall的博客
01-04 2213
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了 要求版本：L版以上 centos系统： ceph osd getmap -o osd_map osdmaptool --test-map-pgs --pool 5osd_map #这里6是我的数据盘pool的id号，自行寻找 osdmaptool osd_map--upmap output_upmap--upmap-pool mydata --upmap-max 100 --upmap
Ceph工作原理详解
lv0918_qian的博客
07-14 375
一、Ceph概述 这里简单的说一下相关的组件，只是简单介绍 组件 概念 Monitor 一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据 OSD OSD负责相应客户端请求返回具体数据的进程，一个Ceph集群一般都有很多个OSD MSD MSD 全称Cepg Metadata Service，是CephFs服务依赖的元数据服务 Object Ceph最底层的存储单位是Object对象，每个Object包含元
ceph数据均衡方式比较
underzerotem的博客
05-23 846
对比了一下ceph的几种数据均衡方式，相关优劣点如下： 实际操作了下，觉得采用L版本的话，使用balancer模块调整还是比较好（优点如下：1、定时执行 2、可以设置调整粒度 3、有自己的评分机制，周期评分，周期调整） ...
ceph数据重均衡几种策略
T_IS_BEHINGD_T的博客
12-05 4155
Ceph 数据重均衡的几种方法 在集群刚建好的时候，对pool进行调整，调整的方法就是对osd进行reweight，通过多次的reweight，指定的pool在osd上能大致得到比较好的均衡效果，但是后续仍会遇到osd上数据不均衡的情况。 常规操作 当ceph集群出现 osd full的告警时，一般情况下我们先通过ceph osd df查看osd的利用率及权重等信息。 如果我们看到看到有不均衡的数据后，一般会将利用率高osd的权重调低，等待完成数据均衡后重新调回正常权重。 ceph osd reweight
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项
zerotoall的博客
12-07 1282
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项 扩容过程主要分为4步（文档有具体描述）： （1）业务规模的评估 （2）扩容前的准备工作（包括环境的检查，pg数的计算，pg分布的统计） （3）扩容过程中的故障处理（mon、osd进程故障，pg状态异常故障） （4）扩容完的收尾动作（统计pg的分布图，调节迁移的速度等） 二、迁移过程中的状态详解 Remapped、backfill等 三、迁移速度调整
ceph（luminous）-基于pgupmap单个pool数据均衡方案
pyrl的博客
12-18 2523
原理 由于ceph分片的特性，使得数据分配均衡就可以认为是pool中osd的pg数目分布大致均衡. pgupmap作为ceph12新加入的特性，在osdmap中记录了某个pg的单独映射，客户端计算完crushmap后需要遍历upmap，修改pg和osd的对应关系才能找到正确对应的osd，12版本 新加入的balancer的一个方案就是基于upmap进行均衡的，不过balancer是调节全部的po...
Ceph常见问题
屈帅波的技术博客
12-30 1737
1.nearfull osd(s) or pool(s) nearfull 此时说明部分osd的存储已经超过阈值，mon会监控ceph集群中OSD空间使用情况。如果要消除WARN,可以修改这两个参数，提高阈值，但是通过实践发现并不能解决问题，可以通过观察osd的数据分布情况来分析原因。 （1）配置文件设置阈值 “mon_osd_full_ratio”: “0.95”, “mon_osd_nearf...
多网卡的7种bond模式原理
weixin_34037977的博客
10-20 1796
本文转载自http://www.huawei.com/ecommunity/bbs/10155553.html。现在存储产品CSS使用了多网卡bond6模式，在这里把多网卡的7种bond模式原理和大家分享：Linux 多网卡绑定网卡绑定mode共有七种(0~6) bond0、bond1、bond2、bond3、bond4、bond5、bond6常用的有三种mode=0：平衡负...
ceph 调整 PG 平衡 集群数据分布自动进行调整
mixboot
01-02 1744
ceph 调整 PG 平衡 ceph mgr module ls # ceph mgr module ls { "enabled_modules": [ "balancer", "crash", "dashboard", "iostat", "restful", "status" ], "disabled_modules": [ { "name":
ceph 延时删除
03-15
### Ceph 延时删除机制概述 Ceph 的延时删除功能主要用于处理对象存储中的垃圾回收问题。当某个对象被标记为删除时，它并不会立即从存储中移除，而是会进入一个延迟期，在此期间可以恢复该对象。这种机制有助于防止误删操作带来的数据丢失风险。 在 Ceph 中，可以通过 `radosgw` 配置文件或者命令行工具启用和管理延时删除功能。以下是关于如何配置以及排查相关问题的关键点： #### 配置延时删除功能 要启用延时删除功能，可以在 RADOS Gateway (RGW) 的配置文件中设置参数 `rgw_delayed_delete` 和 `rgw_gc_max_concurrent_objs` 来控制行为[^1]。具体步骤如下： - 编辑 RGW 配置文件（通常位于 `/etc/ceph/ceph.conf`），添加以下内容： ```ini [client.radosgw.gateway] rgw_delayed_delete = true rgw_gc_max_concurrent_objs = 100 ``` - 如果需要自定义延迟时间，则可通过修改 `rgw_delayed_remove_interval` 参数实现，默认值为 60 秒。 完成上述更改后重启 RADOSGW 服务以使新配置生效。 对于已经部署好的环境，也可以通过 CLI 动态调整这些选项而无需停机重配： ```bash rados set-config-delayed-delete --yes-i-really-mean-it pool-name value ``` #### 排查延时删除相关问题 如果遇到与延时删除有关的问题，比如某些已删除的对象迟迟未真正清除掉，可以从以下几个方面入手分析并解决问题： 1. **检查 PG 状态** 使用 `ceph pg dump | grep degraded` 或者类似的指令确认是否有处于降级状态的 Placement Groups(PGs)，因为只有健康正常的PG才能正常执行GC流程。 2. **验证 GC 工作情况** 执行以下命令获取当前垃圾收集器的工作状况及其日志记录： ```bash radosgw-admin gc list ``` 若发现长时间存在的条目可能意味着存在阻塞因素需进一步调查原因所在[^4]。 3. **评估集群负载水平** 当整个系统资源紧张(如CPU利用率过高、网络带宽不足等)也可能影响到后台清理工作的效率，因此建议定期监测各项指标确保其维持在一个合理范围内。 4. **优化均衡策略** 不合理的 CRUSH 映射规则可能导致部分 OSD 负担过重从而拖慢整体进度。此时可尝试运用之前提到过的 `ceph balancer` 工具来进行重新分配优化。 最后提醒一点就是务必保留好历史版本信息以便于后续审计追踪之用。 ```python import subprocess def check_pg_status(): result = subprocess.run(['ceph', 'pg', 'dump'], stdout=subprocess.PIPE, stderr=subprocess.PIPE) output = result.stdout.decode('utf-8') if "degraded" in output: print("Some placement groups are degraded.") check_pg_status() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值