guzyguzyguzy-优快云博客

原创 Ceph增量备份import diff export diff代码串讲

rbd 增量备份 export-diff import-diff的代码实现

2016-12-15 09:42:10 3390

原创 Ceph 备份系统调研

一，可选备份解决方案 Ceph 提供了一些特性和接口，实现数据备份。目前看，有两个解决方案： 1. rbd mirroring 即在两个独立的Ceph集群之间实现实时数据镜像。这种解决方案可以做到实时备份，但是要求Ceph的安装版本是Jewel或更新。目前我们的版本是Hammer,需要升级才能支持此特性。 2. 基于快照技术的备份。基于Ceph RBD的快照技术，通过差量文件的方式定期将

2016-12-14 15:25:22 3709

原创 ceph heartbeat几个关注的参数总结

几个关注的参数总结：OPTION(osd_heartbeat_interval,OPT_INT, 6) // (seconds) how oftenwe ping peers这个参数的意思是osd和osd之间多久心跳一次OPTION(osd_heartbeat_grace, OPT_INT,20) // (seconds) how longbefore we

2016-12-14 14:47:23 1146

原创错误的状况下，ceph IO 的一致性如何保证

最近研究了在出现错误的状况下，ceph IO 的一致性如何保证。代码基于hammer0.94.5版本。构建一个集群，包括三个OSD, osd.0 osd.1 osd.2。

2016-12-13 13:49:43 2634

原创 ceph pg recovery参数限流值研究小结

一．什么是pg的revovery？为什么需要它？考虑两种最常见的场景：1. osd暂时的故障下线然后又上线。2.osd永久的故障下线，更换硬盘重新上线。无论哪种情况，osd上线后通常会发现，自己承载的pg有数据落后了，需要进入恢复模式，从其它osd上获取新的数据达到同步。这个过程就是pg的recovery过程。recovery分为两种：1. log-based reco

2015-12-31 09:33:15 8498

原创直接从github上clone ceph 源码，编译 Ceph 的时候报错的解决方法

如果直接使用ceph 的src.rpm包，编译成功，没有任何错误。但是，如果从github上取ceph的源码编译，则老实遍不成功，报如下错误：No rule to make target `erasure-code/jerasure/jerasure/src/cauchy.c'网上搜了一把，也有其他人遇到这样的问题，但都没有给出解决方案。仔细研究了一下，错误原因原来是这样的：

2015-10-12 16:42:21 1823

原创编译 Ceph 的时候报错：No rule to make target `erasure-code/jerasure/jerasure/src/cauchy.c', 如何解决

2015-10-12 16:31:41 1372

原创 ceph 数据校验机制 scrub源码分析

ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象，通过与其他副本比对来发现是否一致，如果存在不一致，抛出异常提示用户手动解决。具体讲，scrub 以PG 为单位，对于每一个pg,ceph 分析该pg下所有的object, 产生一个类似于元数据信息摘要的数据结构，如对象大小，属性等，叫scrubmap, 比较主与副scrub

2015-07-13 18:55:50 5692

原创深入理解ceph-disk的工作机制

深入理解ceph-disk的工作机制，通过ceph-disk 部署osd, 数据分区和journal 分区将自动挂载到正确的目录，机器重启也能保证工作。通过ceph-disk部署osd, 将大大提高ceph部署运维的自动化程度，并降低操作出错几率。

2015-07-02 17:46:34 10240

原创 ceph IO 读写流程串讲

由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。ppt下载链接如下：http://download.youkuaiyun.com/detail/guzyguzyguzy/8849157

2015-06-29 10:05:01 2382