ceph数据均衡方式比较

最新推荐文章于 2025-06-10 18:09:21 发布
原创 最新推荐文章于 2025-06-10 18:09:21 发布 · 883 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式存储

本文对比分析了Ceph的多种数据均衡方式，实操后发现L版本配合balancer模块进行调整表现更佳，具备定时执行、可设置调整粒度及周期评分调整等优势。

对比了一下ceph的几种数据均衡方式，相关优劣点如下：在这里插入图片描述

实际操作了下，觉得采用L版本的话，使用balancer模块调整还是比较好（优点如下：1、定时执行 2、可以设置调整粒度 3、有自己的评分机制，周期评分，周期调整）

ceph 数据均衡
weixin_40548182的博客
01-09 790
在 Ceph 集群中，ceph osd reweight-by-utilization 命令用于根据每个 OSD 的数据利用率调整其权重，以实现数据的均衡分布。例如，降低使用率高的 OSD 的权重，提升使用率低的 OSD 的权重。在 Ceph 集群中，执行 ceph osd reweight 命令会调整指定 OSD（对象存储守护进程）的权重，从而影响数据在集群中的分布。当您降低某个 OSD 的权重时，Ceph 会减少分配到该 OSD 的数据份额，将部分数据迁移到其他 OSD，以实现更均衡的存储分布。
Ceph集群扩容及数据再均衡原理分析
李姓门徒
05-14 1333
用户文件在Ceph RADOS中存储、定位过程大概包括：用户文件切割成对象、对象映射到PG、PG分组PGP、PG映射到OSD。这些过程中，可能涉及了大量概念和变量，而其实它们大部分是通过HASH、CRUSH等算法计算出来的，初始参数可能也就只有这么几个：用户文件inode、layout、crush_map等。Ceph所有组件和客户端通过计算就能得到所有对象的Location，而且只要输入的参数信息不变，Location就不会变，另外通过PG作为中间层将对象与OSD解绑，使得对象在Ceph RADOS分布更均
ceph——数据修复/均衡速度测试
MC_dull_lj的博客
09-18 2919
以副本环境的数据均衡为例，以下需要注意： 1、写入数据时，用脚本监控写入数据量（ceph df）到达预定值，开始、停止cosbench cosbench支持命令行。进入cosbench目录，用./cli.sh <action: submit|cancel|info>来开始、结束任务 [root@node-105-84 ~]# cd 0.4.2.c4/ [root@nod...
ceph集群数据均衡工具balancer
qq_43604376的博客
06-04 1980
ceph balancer
ceph 数据均衡(balance)
baidu_39240038的博客
03-26 4504
设置集群仅支持 Luminous（或者L之后的）客户端 我采用octopus: ceph osd set-require-min-compat-client octopus 或 ceph osd set-require-min-compat-client octopus --yes-i-really-mean-it 步骤： 1.获取集群当前的osdmap信息 为防止文件混乱，特意新建了文件夹 (在cephadm shell中执行) mkdir /root/data ceph osd getmap -o
浅谈ceph之数据均衡
qq_30762005的博客
10-11 771
在loongarch架构的3c5000龙芯服务器上使用ceph集群时，观察到所有节点的osd数据不均衡问题，根据此现象查找解决问题。
ceph学习笔记之七 数据平衡
weixin_33766805的博客
07-31 986
数据平衡 当在集群中新增一个OSD设备时，整个集群将会发生数据迁移使数据重新分布达到均衡。在Ceph集群中数据迁移的的基本单位是PG。其实在迁移过程中是将PG中的所有对象作为一个整体来进行迁移。数据迁移触发流程： 1、当新加入一个OSD时，会改变系统的CRUSH Map，从而引起对象映射过程中的变化； 2、PG到OSD的映射关系发生了变化，从而引发数据的迁移。 当cep...
ceph 数据均衡调整
eagle89的专栏
01-25 6581
故障描述 openstack环境中若干台虚拟机无法正常操作，尝试从horizon中重启虚拟机，重启过程中虚拟机状态一直停留在”powering on”的状态，无法进入系统 查看openstack环境，发现后端ceph的状态异常,一个OSD full，一个near full。（clock是这个集群已知问题，这里不做介绍） (ceph-mon)[root@Node-160 /]# ceph -s cluster 8a946765-1bb5-40bc-a0bc-4cd830aee2a4
ceph集群单个osd超95%导致集群无法读写集群恢复过程
yyaolingfeif的博客
12-06 7360
ceph新手，最近遇到的一个问题，已解决，请参考，文中有错误的话欢迎指正故障描述openstack环境中若干台虚拟机无法正常操作，尝试从horizon中重启虚拟机，重启过程中虚拟机状态一直停留在”powering on”的状态，无法进入系统查看openstack环境，发现后端ceph的状态异常,一个OSD full，一个near full。（clock是这个集群已知问题，这里不做介绍）(ceph-m
ceph数据重均衡几种策略
T_IS_BEHINGD_T的博客
12-05 4333
Ceph 数据重均衡的几种方法 在集群刚建好的时候，对pool进行调整，调整的方法就是对osd进行reweight，通过多次的reweight，指定的pool在osd上能大致得到比较好的均衡效果，但是后续仍会遇到osd上数据不均衡的情况。 常规操作 当ceph集群出现 osd full的告警时，一般情况下我们先通过ceph osd df查看osd的利用率及权重等信息。 如果我们看到看到有不均衡的数据后，一般会将利用率高osd的权重调低，等待完成数据均衡后重新调回正常权重。 ceph osd reweight
Ceph 用Luminous手动解决pg分布不均衡问题
a13568hki的博客
02-11 2958
前言 在ceph的实际应用中，我们常常发现存在数据分布不均衡的情况，这个情况在存储池水位达到百分之八十以上后犹为明显。 在ceph出现了数据分布不均衡的时候，我们可以选择人工干预，通过调整pg分布来 达到数据（大致）均衡。 从Luminous v12.2.z开始，OSDMap中有一个新的pg-upmap异常表，允许集群将特定的PG显式映射到特定的OSD。本文记录一次该方案的实践。 实践 1.问题描述 单机ceph环境，正常存储数据，当数据存储达到86%时，发现集群状态error，告警有1个osd满了。具体的
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了
zerotoall的博客
01-04 2339
【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了 要求版本：L版以上 centos系统： ceph osd getmap -o osd_map osdmaptool --test-map-pgs --pool 5osd_map #这里6是我的数据盘pool的id号，自行寻找 osdmaptool osd_map--upmap output_upmap--upmap-pool mydata --upmap-max 100 --upmap
ceph集群调整pg数量实战（上）
最新发布
虽非技冠群英首，愿与同道共长歌； 大鹏一日同风起，扶摇直上九万里；
06-10 1514
ceph集群调整pg数量实战（上）
手动解决ceph中pg不平衡
bpb_cx的博客
10-11 2620
一、在从事ceph的小伙伴们，一定有遇到在搭建ceph完成，使用一段时间之后发现。pg分布不均衡导致osd上的数据有的多，有的少。从而性能方面也下降，比如数据丢失等。 那怎样才能解决以上问题呢。在官网上就有人对此问题做了回复，在原有的基础上把pg再次做均衡，也就是说每个osd上的pg数之间相差不到0.05%。 二、如何实现呢？往下看 ceph features ...
ceph balancer相关命令
qq_23929673的博客
07-01 1601
ceph mgr module ls ceph mgr module enable balancer ceph balancer on ceph balancer mode crush-compat ceph config-key set “mgr/balancer/max_misplaced”: “0.01” ceph config-key dump ceph balancer status c...
使用ceph-ansible完成ceph L版本的部署
二哈欢乐多的博客
02-27 1479
手动部署可以参考 https://blog.youkuaiyun.com/cojn52/article/details/91364299 ansible部署 或者https://blog.youkuaiyun.com/cojn52/article/details/86075769 也是 注意：关于部署多节点的ceph的问题： 1.其他节点需要向主控节点添加秘钥 2.每台主机都需要更新y...
ceph的pg平衡插件balancer
HHFQ的博客
12-19 1512
ceph的pg平衡插件balancer 原作者：武汉-运维-磨渣 原文地址：https://www.cnblogs.com/zphj1987/p/13575484.html 前言 ceph比较老的版本使用的reweight或者osd weight来调整平衡的，本篇介绍的是ceph新的自带的插件balancer的使用，官网有比较详细的操作手册可以查询 使用方法 查询插件的开启情况 [root@node1 ceph]# ceph mgr module ls { "enabled_modules": [
Ceph核心数据结构解析：object_t与hobject_t详解
hobject_t因此成为Ceph集群中对象定位、迁移和均衡调度的关键依据，尤其在处理海量小文件或复杂业务逻辑时表现出强大的灵活性。 最后，**ghobject_t**（generation hobject）是在hobject_t基础上为支持纠删码...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值