Be_Nice的博客

一、前言参考资料：https://blog.youkuaiyun.com/QTM_Gitee/article/details/100067724https://github.com/intel-cloud/cosbench/blob/master/COSBenchUserGuide.pdfCOSBench测Ceph对象存储：那些网上找不到的细节1、介绍cosbench - Cloud Object Storage Beachmark，是Intel开发的一个对象存储基准性能测试工具，支持OpenStack

使用ceph时，经常碰到某个pg有问题，但是这个pg属于哪个存储池呢，到处翻命令，在此记录下常用的几个命令，用于查找pg os和pool之间的映射关系。1. 通过pg查找所属的poolceph pg dump |grep "^{poolid}\." #poolid通过ceph osd pool ls detail 可查看到2. 通过pg查找pgceph pg ls-by-pool {poolname} 或者ceph pg ls {poolid}3. 通过pg查看其所在的osd

什么是对象存储（OSD）？存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。对象存储的发展历史：1999年成立的全...

引言这篇文章主要介绍了RBD在Ceph底层的存储方式，解释了RBD的实际占用容量和RBD大小的关系，用几个文件的例子演示了文件在RBD(更恰当的是xfs)中的存储位置，最后组装了一个RBD，给出了一些FAQ。RBD是什么RBD : Ceph’s RADOS Block Devices , Ceph block devices a...

《大话 Ceph 》系列文章通过通俗易懂的语言并结合基础实验，用最简单的描述来讲解 Ceph 中的重要概念。让读者对分布式存储系统有一个清晰的理解。引言这篇文章主要介绍了 Ceph 中的一个重要系统 – CephX 认证系统。简要介绍了 CephX 的命名格式。并介绍了从集群启动到用户连接集群这一系列流程中 CephX 所起的作用。最后通过实验操作讲解如何在集群所有秘钥丢失的情况下将其完整恢复，以及在实际生产环境中使用 CephX 的一些注意事项。CephX 是什么？CephX 理解起来很简单，就是

【前言】ceph创建存储池需要pg数和pgp数的两个参数，在前面我们介绍了ceph的pg，那么pgp和pg有什么关系呢？PG (Placement Group)，pg是一个虚拟的概念，用于存放object，PGP(Placement Group for Placement purpose)，相当于是pg存放的一种osd排列组合。举个例子：假设集群有3个osd，即osd1，osd2，osd3，副本数为2，如果pgp=1，那么pg存放的osd的组合就有一种，可能是[osd1，osd2]，那么所有的...

【背景】ceph后端支持多种存储引擎，以插件的方式进行管理和使用，默认使用filestore，如ext4、btrfs，xfs。理论上每个文件系统都实现了POSIX协议，但是每个文件系统都会有那么一些不标准的地方。主要存在以下几个方面：1.Ceph的实现非常注重可靠性，因而需要为每种文件系统引入不同的Walkaround或者Hack；例如Rename不幂等性，等等。这些工作为Ceph的不断开发带来了很大负担。2.FileStore构建与Linux文件系统之上。POSIX提供了非常强大的功能，但..

在介绍纠删码读写之前，我们先看下ceph处理IO的流程，借鉴别人提供的图片如下：从该图我们可以看到从前端的业务文件到数据保存到存储硬盘上的过程，步骤如下：1. File->Object映射RADOS中需要配置object的大小，一般会设置为2M到4M的大小。当用户写入数据文件时，首先会根据object的大小值将file进行切分。如果file的大小不足object的大小，则直接按照原大小映射到一个object中；如果file的大小大于object大小，则file会被切分若干个完整大小的.

PG（ placement group）是一个放置策略组，它是对象的集合，该集合里的所有对象都具有相同的放置策略；简单点说就是相同PG内的对象都会放到相同的硬盘上； PG是 ceph的核心概念， 服务端数据均衡和恢复的最小粒度就是PG，那么pg的状态有哪些：1. 常见的pg状态：creating：创建中，当创建pool的时候，将会创建响应的pg；peering：等待互联a. 当pg处于peering状态时，ceph会将pg副本协定导入osd，当ceph完成peering，意味着osd同意当前

1. OSD概念OSD：Object Storage Device，主要负责响应客户端请求返回具体数据的守护进程，一般一个集群会有多个OSD，每一块盘都会对应一个OSD。2. OSD 状态[root@data1 ~]# ceph osd stat4 osds: 3 up (since 23m), 3 in (since 13m); epoch: e345OSD状态说明：a. 集群内（in）b. 集群外（out）c. 活着且在运行（up）d. 挂了且不再运行（down）.

1. Ceph架构简介及使用场景介绍1.1 Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。1.2 Ceph特点高性能a. 摒弃了传统的集中式存储元数据寻址的方案，采用...

把一份数据存到一群Server中分几步？Ceph的答案是：两步。 计算PG 计算OSD 计算PG首先，要明确Ceph的一个规定：在Ceph中，一切皆对象。不论是视频，文本，照片等一切格式的数据，Ceph统一将其看作是对象，因为追其根源，所有的数据都是二进制数据保存于磁盘上，所以每一份二进制数据都看成一个对象，不以它们的格式来区分他们。那么用什么来区分两个对象...