周健华的专栏

The OpenStack Ceph GalaxyPicture of our galaxy :). This picture describes the state of the integration of Ceph into OpenStack. The OpenStack Ceph Galaxy http://www.sebastien-han.fr/blog/2016/05/16

crush 核心函数crush_do_rule 位置crush/mapper.c重要过程 - crush_do_rule: do crushrules iteratively - crush_choose_firstn: choose buckets or devices of specified type recursively - crush_bucket_choose: direc

作为一个面向大规模的分布式存储系统，故障处理是作为一个常态异常处理。Ceph 为了细化和保证故障发生和故障恢复的集群高可用性和一致性，在设计上将故障分为两类:临时性故障: 主机升级维护，重启，掉电等等在一定时间内可以重新上线 OSD 的故障 永久性故障: 作为强一致存储系统，状态只跟存储在持久设备的数据有关，因此这类故障主要就是盘损坏或者主机损坏并无法及时转移盘到另外主机。换句话说救是一定时间内无

原文地址 CEPH CRUSH algorithm source code analysis http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-source-code-analysis/文章比较深入的写了CRUSH算法的原理和过程.通过调试深入的介绍了CRUSH计算的过程.文章中添加了些内容.写在前面读本文前,

1 maps 更新1.1 更新规则 Because cluster map changes may be frequent, as in a very large system where OSDs failures and recoveries are the norm, updates are distributed as incremental maps(增量更新): small mes

论文原始图片 程序说明,解释//对象x的CRUSH放置算procedure TAKE(a) // Put item a in working vector~i{ ~i←[a]}//end procedure procedure SELECT(n,t) // Select n items of type t { ~o←0 //输出结果o,开始为空 for i ∈~i do //遍

1. 对象存储问：我可以存储多少数据？您可以存储的总数据容量和对象个数不受限制。各个 Amazon S3 对象的大小范围可以从最小 0 字节到最大 5 TB。可在单个 PUT 中上传的最大数据元为 5 GB。对于大于 100 MB 的数据元，客户应该考虑使用分段上传功能。理解这个问题，事实上有助于理解RADOS的本质，因此有必要在此加以分析。粗看起来，librados和RADOS GW的区别在于，l

ceph系统原理 细节 说明1 流程说明1.1 应用1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用. 2) RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建vo

Dynamo: Amazon’s Highly Available Key-value StoreDynamo：Amazon的高可用性的键-值存储系统摘要巨大规模系统的可靠性是我们在Amazon.com，这个世界上最大的电子商务公司之一，面对最大的挑战之一，即使最轻微的系统中断都有显着的经济后果并且影响到客户的信赖。Amazon.com平台，它为全球许多网站服务，是实现在位于世界各地的许多数据中心中

RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters摘要块式和面向对象的存储架构形成了一种以提升扩展性的存储cluster。然而，现存的系统继续把存储节点作为一个被动的设备，尽管他们有能力展示智能和自治。我们提出RADOS的设计和实现，RADOS是一个可靠的面向对象服务，通过利用每个独立节点的智能

Ceph剖析：数据分布之CRUSH算法与一致性Hash 作者：吴香伟 发表于 2014/09/05 版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 http://www.cnblogs.com/shanno/p/3958298.html数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素：故障域隔离。同份数据的不同副本分

CRUSH详解CRUSH简介CRUSH全称Controlled Replication Under Scalable Hashing，是一种数据分发算法，类似于哈希和一致性哈希。哈希的问题在于数据增长时不能动态加Bucket，一致性哈希的问题在于加Bucket时数据迁移量比较大，其他数据分发算法依赖中心的Metadata服务器来存储元数据效率较低，CRUSH则是通过计算、接受多维参数的来解决动态数据

CRUSH: Controlled, Scalable,Decentralized Placement of Replicated DataCEPH 的 CRUSH 算法原理概要新兴的的大规模分布式存储系统面临着在数十甚至是数百数千的存储设备之间分发PB这个数量级别数据的艰巨任务. 这样的系统必须能够均匀的分配数据和工作负载，以获取对可用资源的高效使用，和系统性能的最大化, 同时要便于系统的扩展以及

Ceph: A Scalable, High-Performance Distributed File System Ceph：一个可扩展，高性能分布式文件系统 Sage A. Weil Scott A. Brandt Ethan L. Miller Darrell D. E. Long Carlos Maltzahn 摘要　　我们开发Ceph,一个分布式文件系统,它提供了优秀的性能、可靠性

转载: 理解Ceph的存储设计 http://www.fireflies.me/tag/rados/ceph在大部分中心化存储系统中（如GFS）中，通常有一个中心节点管理整个系统元数据的更新、协调节点之间的数据复制，检测并处理节点故障以及后续的数据迁移工作。Ceph认为将所有的管理工作全部交一个节点不利于整个系统的扩展：1）单个节点存储、计算以及网络传输能力有限，容易成为性能瓶颈；2）中

ceph cookbook可靠性 纠删码 缓存rbd接口块设备每一个块设备分布在多个ceph节点上. librbd库,RBD原生支持Linux内核.特性1) 可靠性,性能 2) 完整和增量快照 3) 自动精简配置 4) 写时复制克隆 5) 动态调整大小 6) 内存内缓存块设备可以和Cinder(块存储)和Glance(镜像)组件对接.检查内核对RBD支持sudo modpro