crushmap

最新推荐文章于 2024-09-13 14:48:17 发布
转载 最新推荐文章于 2024-09-13 14:48:17 发布 · 257 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/luohaixian/p/10329130.html

第19讲：Ceph集群CrushMap规则定制与调优：从基础到高级应用
江晓龙的博客
05-10 1616
现在集群中有8个OSD，其中四个OSD是ssd的磁盘，另外四个OSD是hdd的磁盘，接下来我们会定义两套CrushMap规则，根据数据的重要性分别应用不同的CrushMap规则。规则名称：ssd_data该CrushMap规则会关联各个Ceph节点上类型是ssd磁盘的OSD，OSD的磁盘类型可以在Class类中定义，该条CrushMap规则会与ssd_rule角色进行关联，将数据重要性较高的Pool资源池应用ssd_rule这个角色，就可以将数据只落在ssd类型的OSD中。
第18讲：Ceph集群CrushMap的核心概念、默认规则与完整定义
江晓龙的博客
05-06 1120
CrushMap官方文档：https://docs.ceph.com/en/pacific/rados/operations/crush-map/Ceph集群数据写入流程，最终是通过Crush算法将数据落入到OSD中，使用Crush算法来存储和管理数据，相当于智能的数据分发机制。Ceph可以通过Crush算法准确的计算出数据应该存储在哪里，也可以计算出从哪里读取数据。Crush算法就是依据配置的Crush Map规则策略，将数据路由到对应的存储点。如下图所示，一份数据被拆成多个Object对象，这些Obje
crushmap与osd tree
system_zhazha的博客
03-20 692
本文主要介绍crushmap相关概念，以及调整crush的几种不同方法。crush为ceph的核心之一，理解其中逻辑对pg规划，容量均衡，故障处理等非常有帮助。
ceph Crush map
杨仕虎的博客
04-30 745
Crush map CRUSH map采用树状结构，最小叶子节点就是真实物理磁盘称为device，中间节点称为bucket，每个bucket可以是device集合，也可以是低一级的bucket集合，最上面还有一个root节点，代表集群的入口 CRUSH hierarchy（层次结构）：树型结构目录，决定故障域的范围（11个层级） CRUSH rule（规则）：CRUSH rule决定如何从bucket中分配OSD，创建存储池可以指定rule CRUSH hierarchy 生成环境可以考虑这样的层级：数
第三课 ceph基础学习-CrushMap和RDB高级功能
QnHyn
10-19 1109
CrushMap和RDB高级功能
CrushMap介绍
weixin_34336292的博客
03-14 798
1. 介绍CRUSH 算法通过计算数据存储位置来确定如何存储和检索。 CRUSH 授权 Ceph 客户端直接连接 OSD ，而非通过一个中央服务器或代理。数据存储、检索算法的使用，使 Ceph 避免了单点故障、性能瓶颈、和伸缩的物理限制。CRUSH 需要一张集群的 Map，且使用 CRUSH Map 把数据伪随机地、尽量平均地分布到整个集群的 OSD 里。CRUSH Map ...
6 存储的数据管理CRUSH Map
allway2的博客
09-30 735
6 存储的数据管理 CRUSH 算法通过计算数据存储位置来确定如何存取数据。使用 CRUSH，Ceph 客户端无需通过中心服务器或中介程序，即可直接与 OSD 通讯。借助算法确定的数据存取方法，Ceph 可避免单一故障点、性能瓶颈和可伸缩性物理限制。 CRUSH 需要获取集群的地图，它使用 CRUSH图以伪随机的方式在 OSD 中存取数据，并以一致的方式在整个集群中分布数据。 CRUSH...
CEPH自定义crushmap
ふりこ细工の心
02-01 664
CEPH自定义crushmap 实现储存隔离 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录CEPH自定义crushmap 实现储存隔离前言一、更新规则1、获取规则信息2、更改规则以及规则说明二、rbd pool 之间的数据迁移Kubernetes ceph-csi 环境搭建 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断
ceph中通过crushmap将osd节点划分成两个独立的资源组，提供给openstack
weixin_43391291的博客
09-13 569
在Ceph集群中，可以通过配置不同的 CRUSH 规则 和 pool 来实现将 多个 个节点分成两个组，并且让这两组对应不同的存储 pool，实现数据隔离。需求，将一个ceph集群中的osd主机，划分成两个独立区域，去对接不同类型openstack计算节点，实现资源层面的隔离。在 buckets 部分中定义两个新的机架 bucket，并将每个机架中的节点分配给相应的 bucket。为每个环境（即每个机架）定义一个新的 CRUSH 规则，确保数据写入时根据规则分配到不同的机架。完整的crushmap。
ceph - crushmap 扩容记录
weixin_34221073的博客
02-20 238
前提 参考 ceph - 扩容记录 文档记录了如何进行 ceph 扩容的部署过程 最后一步, 需要对 ceph crushmap 进行重定义 容量计算 新加入 3 台存储节点, 每个存储节点具有 10 个 OSD 节点, 每个 OSD 对应 4TB 空间, 即共增加 3* 10 * 4TB = 120 TB...
ceph之crush map
weixin_34032827的博客
05-08 207
 编辑crush map： 　　1、获取crush map； 　　2、反编译crush map； 　　3、至少编辑一个设备，桶， 规则； 　　4、重新编译crush map；　 　　5、重新注入crush map； 获取crush  map 　　要获取集群的crush map，执行命令： 　　　　ceph osd  getcrushmap -o {compiled-crushmap...
Ceph crush运行图
梵修
05-21 1380
Monitor map：监视器运行图osd map：osd运行图PG map：PG运行图Crush map：crush运行图Mds map：mds运行图crush map是ceph集群物理拓扑的抽象，CRUSH算法通过crush map中集群拓扑结构、副本策略以及故障域等信息，来选择存放数据的osd。以我当前集群为例，crush map描述的集群物理拓扑结构层级如下图，包括3个层级，分别是root、host和osd：导出当前集群的crush map。
Ceph Crush-Map与Ceph调优及其日常管理
因上努力，果上随缘。但行好事，莫问前程。
07-01 1813
目录1. Crush Map1.1 管理Monitor map1.1.1 Monitor选举机制1.1.2 Monitor租约1.1.3 常用的monitor管理1.2 管理OSD Map1.2.1 OSD map命令1.2.2 OSD的状态1.2.3 OSD容量1.2.4 OSD状态参数1.3 管理PG1.3.1 管理文件到PG映射1.3.2 struck状态操作1.3.3 手动控制PG的Primary OSD1.4 自定义Crush Map1.4.1 Crush的放置策略1.4.2 编译与翻译和更新1.
ceph (luminous 版) crushmap 与 pool结合用于物理划分 IO 使用域
Terry Tsang
08-29 465
目的 利用 crushmap ， 把不同的 osd 存放到不同的分组中 不同的 ceph pool 独立使用到不同的 crushmap 分组 （即使用不同的 osd 磁盘） 从物理上隔离了不同的 pool 数据读写 IO ceph 结构参考 hostAhostBhostC备注 osd.0osd.4osd.8把 osd0 ~ osd.11 划分到 root=default 根中只...
CRUSH map 定制实例解析
NLP家的码奴小荷的博客
01-27 8965
修改编译 CRUSH map
ceph学习（2）——crush map 故障域划分
qq_33218245的博客
11-29 6644
crush map是ceph集群最重要的组成部分之一，crush算法实现了ceph集群的去中心化，这也是它实现分布式的关键，简单来说，crush算法决定了客户端的数据写到哪，从哪读取客户需要的数据。今天重点讲crush map的使用，之后会单独写一篇来讨论crush map细节。 接上篇https://blog.youkuaiyun.com/qq_33218245/article/details/97...
Ceph入门到精通-CrushMap算法概述
隔壁老瓦的专栏
05-08 743
能闯匀使用，以此提升集群性能和保持集群健康。例如，如果一个Ceph 集群包含2000 个OSO ，这时一个新的系统添加20 个新的OSD ，这样就只有1% 的数据会在再平衡期间移动，并且所有现有的OSD 是并行地移动数据，使其迅速完成这个操作。然而，对于利用率高的Ceph 集群，建议先将新添加的OSD的权重设为0 ，再逐渐增加权重到依据磁盘容量确定的更高的权重值。由于这并不总是实用的，您可以合并不同大小的设备，并使用相对权重，以便Ceph将更多的数据分配给较大的驱动器，而将更少的数据分配给较小的驱动器。
openstack 管理三十八 - ceph 与 crushmap
Terry Tsang
07-27 3690
目标 以 ceph 0.87 为例 ceph-12.0 版本中， 默认管理员无法删除池 管理 ceph 中的存储池 保留 rbd 池 创建 volumes 池 删除其他存储池 增加 pg_num 数量 查询当前池方法 [root@cephsvr15-128055 ~]# ceph osd lspools 0 ...
Ceph 进阶系列（一）：crush map文件里有些什么？
Yannick Jiang 的专栏
08-28 1089
一、前言 crush map 是什么? 请参考Ceph 进阶系列（一）：一些基本概念(1 of 2，偏client端 ) 如何导出、查看一个Ceph集群的 crush map，请参考 Ceph 进阶系列（二）：如何在指定的OSD 设备上创建 pool 二、分析crush map 下面是一个简单的Ceph集群里导出来的crush map文件，我们来分析一下它包含了哪些信息。 # begi...
Ceph扩容流程（添加OSD/调整CRUSH Map）
最新发布
10-24
### 添加 OSD 步骤 #### 新增服务器实现扩容 - 服务器准备： - 关闭防火墙和 selinux（扩容节点执行）。 - 配置 hosts 文件（集群所有节点都需执行）。 - 创建部署用户及配置 sudo 权限。 - 配置无密码访问（在主节点 node1 执行）。 - 配置 ntp 同步（新增节点执行）。 - 新增节点配置 yum 源： - 添加阿里云的 base 源和 epel 源。 - 添加 ceph 的 yum 源。 - 开始扩容： - 安装 Ceph 包至新增节点（在主节点 node1 操作）。 - 使用 ceph - deploy 添加 OSD。以下是添加 OSD 的命令示例： - bluestore： ```bash ceph - deploy --overwrite - conf osd create node66 --data /dev/sdb --block - db /dev/sdd2 --block - wal /dev/sdd1 ceph - deploy --overwrite - conf osd create node66 --data /dev/sdc --block - db /dev/sde2 --block - wal /dev/sde1 ``` - filestore： ```bash ceph - deploy osd create --filestore --fs - type xfs --data /dev/sdb1 --journal /dev/sde1 node66 ceph - deploy osd create --filestore --fs - type xfs --data /dev/sdc1 --journal /dev/sde2 node66 ``` #### 新增硬盘实现扩容 - 添加硬盘。 - 添加 OSD 至集群。 #### OSD 手动添加 - 创建 OSD - ID。 - 创建数据存储目录及挂载。 - 初始化 osd 存储数据。 - 注册验证密钥，配置其他组件访问 osd 的权限。 - 将新增 osd 添加至 crush 图中。 - 启动 OSD [^2][^5]。 ### 调整 CRUSH Map 步骤 - 导出运行图： ```bash ceph osd getcrushmap -o /data/ceph/crushmap - v2.txt ``` - 手动编辑或根据需求修改 crush map，例如将 osd 节点划分成两个独立的资源组等。 - 将修改后的 `crushmap.txt` 文件编译回二进制格式，并将其应用到 Ceph 集群中： ```bash crushtool -c crushmap.txt -o newcrushmap ceph osd setcrushmap -i newcrushmap ``` [^1][^4]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值