a1454927420的博客

经过我测试发现，ceph基于令牌桶算法的流量和IOPS上限限制还是比较精准的。之前的测试报告找不到了，以后我会补上。源码地址为：https://github.com/ShiqiCooperation/shiqiceph                       本次修改是基于0.94.3版本，之后的版本rbd源码可能有变化，但是在实现上大同小异。一，在librbd模块，做限制

之前业界一直误会了分布式文件系统。 都认为对象存储的优越性好于NAS。业界部分人认为：对象存储是扁平的，而文件系统是树型的，不够扁平，所以对于海量小文件的性能上，对象存储要比文件存储性能好。在分布式文件系统兴起后，这个结论是错的。原因如下： 1，把对象存储和传统NAS比，传统NAS是在块设备上做xfs+nfs，nfs流量是单点的。 新型的NAS早就以分布式文件系统ceph...

最近发现不少朋友，对cephfs的使用方式存在误区。很多朋友线上连接数十几万，IOPS压力巨大，依然在跑着单mds。直接导致单mds session耗尽，mds进程down。或者扛不住那么大的IOPS，性能很慢。要知道cephfs的性能是随着mds的数量增加线性增长的，mds越多cephfs性能越好。灵活的让多个mds分担IOPS，连接压力是最佳选择。但是多mds如果配置不好，会导致IO夯住，这...

            cephfs 文件系统，由数据和元数据2部分组成。元数据即目录和文件。数据就是文件里的数据和内容。            不管数据还是元数据，最后在底层filestore层，都以对象文件的形式存储。一，cephfs相关模块              1，ceph-fuse，cephfs-kernel                       ceph客户端有2种模式，使用...

首先我们从字面意思理解下这2个pg状态。             Incomplete : 没完成             inconsistent : 不一致             那么是什么没完成和不一致呢？ 简单来说Incomplete是pg peering没完成。inconsistent 是pg三副本中的数据不一致一， Incomplete解说   

             这是mds新手入门篇，主要内容讲述mds冷备，热备区别和重放的关系。我们只讨论单active mds的情况一，mds的冷备                  1， 我们用ceph-deploy mds create {host-name}创建一个mds, 这时候会有一个active的mds作为文件系统的元数据缓存来为文件系统提供服务，mds缓存了dentry，并且以lru...

pg数=( Target PGs per OSD ) x ( OSD # ) x ( %Data )  /   ( Size )Target PGs per OSD : 表示预计osd个数，                                          1，假如osd数，以后不会增加，那这个值是100                       

楔子：之前写过一份源码部署（QQ群 72651441 里有），但是ceph12版本编译完全变了，并且之前的部署方式也不能适应bluestore。 一，源码编译准备工作1, 下载源码官网下载地址为：http://ceph.com/download/   此次我们用的版本是ceph-12.0.1版本，操作系统为redhat7.1。   这里建议从官方网站上下载源码，而不是在

                 看到很多关于oid-->pgid-->osdid映射的文章。 但是 读写IO到-->oid的映射，却没有相关的文章。我认为一个完整的映射关系应该是这样的：read write IO---->oid---->pgid---->osdid  。下面我们重点研究下read write IO---->oid的映射关系。一， 读写I...

说明：之前一直用gdb和lttng 调试ceph源码，后来又发现了systemtap，下面对比下这三种工具。一，3种源码分析工具的比较                    1，gdb                                 优点：擅长做精细化的调试。比如查看变量内容，查看内存内容，下条件断点等。                           

                   摘要：之前对ceph的crush算法的理解，很多时候没有针对问题来考虑。我现在就提出几个问题                  1，ceph怎么做到的每次down掉一个osd或者新增一个osd后，只有少量的数据迁移？而不是所有数据都在osd之间来回迁移？（据说sheepdog是大量迁移，所以这个就别拿来和ceph比性能了，连弹性扩容都做不到。）    ...

疑惑：使用ceph --show-config 可以看到默认情况下osd_pool_default_size = 3 #创建pool的时候默认pool是3副本osd_pool_default_min_size = 0 #按照网上的解释，这个参数是定义了参数pool最少可写的副本数，并且通常设置成2曾经有这样2个疑问，默认参数osd_pool_default_min_si...