Ceph的crush算法与一致性hash对比介绍

最新推荐文章于 2025-04-29 15:30:11 发布
最新推荐文章于 2025-04-29 15:30:11 发布
阅读量93 收藏
点赞数 1
分类专栏： ceph 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Dayu_log/article/details/144080593
版权

Ceph的crush算法与一致性hash对比介绍
https://blog.itpub.net/70014251/viewspace-3013310/

ceph第九篇: ceph crush简介及基于HDD和SSD磁盘实现数据冷热数据分类存储
weixin_43743301的博客
04-11 49
默认的分配是概率上的均衡，即使 OSD 都是一样的磁盘空间也会产生一些 PG 分布不均匀的情况。weight 是基于磁盘空间分配 PG 的数量，让 CRUSH 算法尽可能在磁盘空间大的 OSD 上多分配 PG，往磁盘空间小的 OSD 分配较少的 PG。通过“抽签”来实现最优分配，也就是抽取一个最长的签,这个签值就是osd的权重,当创建存储池的时候会向PG分配OSD,straw算法会遍历当前可用的OSD,并优先使用中签的OSD,让权重高的OSD被分配较多的PG存储更多数据.
ceph存储数据的详细流程（CRUSH）
CloudXli的博客
03-11 9907
本文将对Ceph的工作原理和若干关键工作流程进行扼要介绍。如前所述，由于Ceph的功能实现本质上依托于RADOS，因而，此处的介绍事实上也是针对RADOS进行。对于上层的部分，特别是RADOS GW和RBD，由于现有的文档中（包括Sage的论文中）并未详细介绍，因而本文或有语焉不详之处，还请读者多多包涵。 本文将首先介绍RADOS中最为核心的、基于计算的对象寻址机制，然后说明对象存取的工作流程，之...
Ceph数据分布：CRUSH算法与一致性Hash
09-06 300
版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素： 1) 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能； 3) 控制节点加入离开时引起的数
一致性hash与CRUSH算法总结
weixin_34056162的博客
08-28 267
一致性hash与CRUSH算法总结 相同之处：都解决了数据缓存系统中数据如何存储与路由。 不同之处：区别在于虚拟节点和物理节点的映射办法不同 由于一般的哈希函数返回一个int（32bit）型的hashCode。因此，可以将该哈希函数能够返回的hashCode表示成一个范围为0---（2^32）-1 环 数据和节点使用相同的hash函...
开源主流分布式文件系统简单介绍
热门推荐
喜欢打篮球的普通人
08-05 3万+
文章目录一、分布式文件系统简介1.特点2.主要指标及分类对比二、开源分布式文件系统1.GFS（1）GFS与NFS，AFS的区别（2）BigTable（3）Chubby2.HDFS3. Ceph4. Lustre5.MogileFS6.mooseFS7.FastDFS8.TFS9.GridFS文件系统10.NFS（1）多服务器存储（2）pNFS（3）AFS11.PFS(parallel file s...
从一致性hash到ceph crush算法演进图谱（持续更新）
天行健，地势坤
11-30 733
参考文档： https://ceph.com/wp-content/uploads/2016/08/weil-crush-sc06.pdf Ceph剖析：数据分布之CRUSH算法与一致性Hash
Ceph剖析：数据分布之CRUSH算法与一致性Hash
wenjianfeng的专栏
05-30 343
数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素： 1) 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能； 3) 控制节点加入离开时引起的数据迁移量。当节点离开时，最优的数据迁移是只有离线节点上的数据被迁移到其它节点，而正常工作的节点...
一致性hash算法和CEPH CRUSH
willinux的专栏
06-12 3392
一致性hash算法和CEPH CRUSH          Ceph之CRUSH算法讨论了一上午，来记录下自己的收获。最大的收获就是一致性hash算法的学习，最后再补充下对ceph的认识。 1.  一致性hash算法 一致性hash算法是一种数据分布算法，数据分布算法至少需要考虑三点： 1)故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 2) 负载均衡。数据能够均
ceph crush算法分析
zmysang的博客
04-22 1039
数据分布算法 （1）集中式的元数据查询，如hdfs （2）分布式算法，例如一致性哈希算法，如crush 算法步骤： 1、pool_id+hash(object_id)得到pg_id 2、针对每一个osd，通过同样的常量r，CRUSH_HASH(PG_ID, OSD_ID, r) 得出一个不同的随机数，然后使用自己的随机数与osd的weight相乘，得到draw，选出其中最大的draw值作为第一个o...
【ceph】CRUSH算法的原理与实现|File-＞Object-＞PG-＞OSD的映射方法
小鱼菜鸟的博客
07-22 466
理解Ceph CRUSH数据定位算法 Ceph的数据定位算法，CRUSH算法，这是一种用户可控的伪随机算法。理解此算法对掌握Ceph助益很大。 下面通过示例来分析CRUSH算法。我们部署一个Ceph集群，用一个节点做monitor，用两个节点(2×3=6块硬盘)做OSD数据服务器，OSD服务器的层次结构如下： 注一：层次结构在Ceph中称之...
系统设计 | Ceph 数据分布算法crush
mike_learns_to_rock的博客
01-07 918
目标 crush算法是为了解决分布式存储领域中的数据分布问题，简言之就是数据如何分布在各个节点和磁盘上。 针对ceph而言，这里的数据就是PG副本，节点/磁盘对应的是OSD进程事例。 难点 数据分布有啥难点呢？ 均匀性：如何保证数据均匀分布？读写负载均匀？ 集群伸缩：增加或者删除节点，迁移的数据尽量少。 适合大规模场景：集群规模大了，元信息就多了，这种场景下的性能问题必须考虑：如何保证元信息...
Ceph---内部原理以及crush设计
smart9527_zc的博客
12-28 1623
一、ceph对象 （1）ceph object Object由数据和元数据构成 每个object都有全局唯一的ID 不同于文件存储，object的大小可以突破文件级的限制，并且还有丰富的元数据 整个Object索引是一个扁平结构里实现的，不同于传统文件系统的树状结构 （2）查看object 查看pool $:rados lspool 查看pool里的object rado...
Ceph IO读写流程详解(一)——RADOSGW
weixin_43977379的博客
04-29 825
代码中的RGWOp_ZoneGroupMap_Get就是图中提到的Op，其他的S3请求，swift请求都与之类似，都有对应的manager，handler和执行的Op。从今天起，我将开启一个专题，讲述一个对象是如何从上传rgw到最终落盘的整个过程，期间也会有一些扩展内容，包括一些c++、网络等基础知识，权当作为一个复习吧。下一章节，我们将介绍最重磅的函数rgw_process_authenticated，这是处理Op最重要的函数。本文是以luminous版本进行讲解，虽然经过了迭代，但大体的思路是不变的。
Ceph IO读写流程详解(二)——RADOSGW请求处理
weixin_43977379的博客
04-29 817
这一节，我们将以rgw_process_authenticated函数开始，以分段上传的Op为例进行下一步的讲解。在中我们简单介绍了manager和handler，那么rgw是如何根据请求来分辨出究竟是哪个manager以及对应的handler执行对应的任务呢？这一步是校验user、bucket的acl访问政策的，需要开发相关功能时再关注即可。这个目前只有RGWHandler_REST_S3Website重写了这个函数。这部分是读bucket和object的ACL。
Operational Procedure for Safe Replacement of a Failed OSD in Ceph Clusters
weixin_53515198的博客
04-29 214
【代码】Operational Procedure for Safe Replacement of a Failed OSD in Ceph Clusters。
ASP技术访问WEB数据库.docx
05-02
ASP技术访问WEB数据库.docx
2010-2019年上市公司排污费数据.xlsx
最新发布
05-02
2010-2019年上市公司排污费数据 1、时间：2010-2019年 2、来源：上市公司披露BG 3、指标：代码、日期、名称、本期支出 4、范围：417家上市公司 5、相关研究：胡珺,宋献中,王红建.非正式制度、家乡认同与企业环境治理
六轴桌面机械臂上位机与下位机源码解析与实现
05-02
内容概要：本文详细介绍了六轴桌面机械臂的上位机（PC）和下位机（单片机）源码实现及其应用场景。上位机使用Python编写，通过pyserial库进行串口通信，实现了用户交互和指令发送功能；下位机则使用Arduino平台，通过C/C++语言编写代码，实现了机械臂的动作控制。文中不仅展示了基本的通信协议和控制逻辑，还深入探讨了逆运动学计算、PID控制、数据同步等问题，并提供了多个实用的代码片段和调试经验。 适合人群：对机器人技术和嵌入式开发感兴趣的开发者，尤其是有一定编程基础和技术背景的人群。 使用场景及目标：适用于六轴桌面机械臂的开发和调试，帮助读者理解上下位机的协同工作原理，掌握机械臂控制的关键技术，如串口通信、逆运动学、PID调节等。 其他说明：文章强调了实际开发中的注意事项和常见问题，如数据同步、指令校验、运动规划等，并提供了一些优化建议和解决方案。此外，还提到了系统的扩展性和安全性措施，如限位保护和扩展接口的设计。
Ceph CRUSH算法详解：分布式对象存储的智慧选择
"本文深入分析了Ceph的副本分布算法CRUSH，该算法旨在解决大规模分布式存储系统中的数据分布和负载平衡问题。CRUSH是一种可扩展的伪随机算法，能够应对存储设备的动态变化，最小化数据迁移。" 在Ceph分布式对象存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值