ceph
关注
分享
扫一扫
JackLiu16
stay hungry,stay young!
展开
-
基于CentOS7部署Ceph集群（版本10.2.2）
1 简单介绍Ceph的部署模式下主要包含以下几个类型的节点Ø Ceph OSDs: A Ceph OSD 进程主要用来存储数据，处理数据的replication,恢复，填充，调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时，要求至少有2个Ceph OSD进程的状态是active+cle...转载 2018-04-17 00:27:18 · 702 阅读 · 0 评论 -
ceph pg(placement group)状态总结
一、归置组状态1. Creating创建存储池时,它会创建指定数量的归置组。ceph 在创建一或多个归置组时会显示 creating;创建完后,在其归置组的 Acting Set 里的 OSD 将建立互联;一旦互联完成,归置组状态应该变为 active+clean,意思是ceph 客户端可以向归置组写入数据了。2. peeringceph 为归置组建立互联时,会让存储归置组副本的 OSD 之间就其...转载 2018-05-21 11:53:41 · 2349 阅读 · 0 评论 -
增加/删除 OSD
你可以用 create 命令一次完成准备 OSD 、部署到 OSD 节点、并激活它。 create 命令是依次执行 prepare 和 activate 命令的捷径。增加/删除 OSD新增和拆除 Ceph 的 OSD 进程相比其它两种要多几步。 OSD 守护进程把数据写入磁盘和日志，所以你得相应地提供一 OSD 数据盘和日志分区路径（这是最常见的配置，但你可以按需调整）。从 Ceph v0.60 ...转载 2018-05-21 15:31:12 · 704 阅读 · 0 评论 -
Ceph管理平台Calamari的架构与功能分析
alamari项目开始于2013年夏天，创立它的初衷是开发一个Ceph管理平台, Calamari对外提供了十分漂亮的web管理和监控界面，以及一套改进的REST API接口（不同于Ceph自身的REST API），在一定程度上简化了Ceph的管理。最初Calamari是作为Inktank公司的Ceph企业级商业产品来销售，红帽今年5月30日收购Inktank后为了更好地推动Ceph的发展，对外宣...转载 2018-06-21 23:36:52 · 1614 阅读 · 0 评论 -
supervisor
文章转自:http://cpper.info/2016/04/14/supervisor-usage.html在此只是当做笔记使用，不做他用 Linux进程管理工具supervisor安装及使用1. 什么是supervisorsuperviosr是一个Linux/Unix系统上的进程监控工具，他/她upervisor是一个Python开发的通用的进程管理程序，可以管理和监控Linux上面的进程，...转载 2018-06-07 17:56:57 · 578 阅读 · 0 评论 -
OSD full/nearfull 的解决办法
总结：1、所有整个集群都是full状态，需要添加新osd或删除不必要内容2、部分osd处于full状态，首先通过调节near full值，使osd能够读写。再调节osd的weight权重，使其能够把数据写到空间较大的osd 0.说明个人经验总结，有不当的地方欢迎指正。 1.问题昨晚在测试环境新建了7个rbd，然后在不同节点上向这些rbd执行fio，对rbd进行初始化。...转载 2018-08-07 20:29:42 · 8800 阅读 · 1 评论 -
Ceph源码解析：CRUSH算法
1、简介 随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负载(提高资源利用率)，最大化系统的性能，并要处理系统的扩展和硬件失效。ceph设计了CRUSH(一个可扩展的伪随机数据分布算法)，用在分布式对象存储系统上，可以有效映射数据对象到存储设备上(不需要中心设备)。因为大型系统的结构式动态变化的，CRUSH能够处理存储设备的添加和移除，...转载 2018-10-18 01:17:29 · 588 阅读 · 0 评论 -
ceph osdmap crush 分析
1 maps 更新1.1 更新规则 Because cluster map changes may be frequent, as in a very large system where OSDs failures and recoveries are the norm, updates are distributed as incremental maps(增量更新): small me...转载 2018-10-18 01:46:10 · 785 阅读 · 0 评论 -
librados 简单介绍
一个Ceph客户端，通过librados直接与OSD交互，来存储和取出数据。为了与OSD交互，客户端应用必须直接调用librados，连接一个Ceph Monitor。一旦连接好以后，librados会从Monitor处取回一个Clustermap。当客户端的应用想读或者取数据的时候，它会创建一个I/O上下文并且与一个pool绑定。通过这个I/O上下文，客户端将Object的名字提供给librad...转载 2018-10-14 23:38:42 · 303 阅读 · 0 评论 -
ceph的CRUSH算法的源码分析
Contents [hide]1 1 源文件分析 1.1 1.1 rule与bucket的关系 1.2 1.2 crush目录下的文件 1.3 1.3 crush.h中 1.4 1.4 crush.c中 1.5 1.5 build.c中 1.6 1.6 在hash.h、hash.c中 1.7 1.7 在mapper.h、mapper.c中 1.8 1.8 在Cr...转载 2018-10-19 00:11:18 · 608 阅读 · 0 评论 -
Ceph剖析：数据分布之CRUSH算法与一致性Hash
作者：吴香伟 发表于 2014/09/05版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素：1) 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险；2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能；...转载 2018-10-16 01:08:50 · 298 阅读 · 0 评论 -
一致性Hash算法背景
一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人都知道，memcached...转载 2018-10-16 10:38:21 · 173 阅读 · 0 评论 -
各种hash算法合集
1、整型的Hash算法使用的是Thomas Wang's 32 Bit / 64 Bit Mix Function ，这是一种基于位移运算的散列方法。基于移位的散列是使用Key值进行移位操作。通常是结合左移和右移。每个移位过程的结果进行累加，最后移位的结果作为最终结果。这种方法的好处是避免了乘法运算，从而提高Hash函数本身的性能。unsigned int dictIntHashFunctio...转载 2018-10-16 10:45:43 · 2386 阅读 · 0 评论 -
一致性hash以及python代码实现
背景：自己之前的项目里面使用了redis作为KV存储，不仅是因为性能，主要是需要用redis的hash数据结构。后来随着业务发展，读写压力越来越大，一开始的做法是读写分离，接着一主多从，发现还是不能很好的解决写redis的压力，又因为自己使用的redis版本比较低还不支持分布式的功能，所以自己想去部署一套分布式的redis存储系统，开始想到的做法是简单的做个hash，hashcode=hash(k...转载 2018-10-16 11:29:57 · 657 阅读 · 0 评论 -
ceph monitor
第一次在集群新建 Monitor ，使用ceph-deploy new {initial-monitor-node(s)}接下来再添加 Monitor，使用ceph-deploy mon add {ceph-node}也可以在一开始就创建3个monitor,不用后面再添加ceph-deploy new controller1 controller2 compute01 创建集群如果在某些地方碰到...转载 2018-05-21 11:34:56 · 883 阅读 · 0 评论 -
ceph 网络配置
9. 分离 public network 和 cluster network9.1 分离的好处（1）提高性能：消除副本创建、数据恢复和再平衡对 public network 的压力；增强 OSD 心跳网络的可靠性。（2）安全性：使用一个彻底与外网分离的内部网络作为 cluster network，可以防止比如 DDOS 这样的网络攻击。更多信息，请参阅 NETWORK CONFIGURATION ...转载 2018-05-21 10:40:18 · 4483 阅读 · 0 评论 -
ceph运维常用指令
集群启动一个ceph 进程启动mon进程 service ceph start mon.node1 启动msd进程 service ceph start mds.node1 启动osd进程 service ceph start osd.0查看机器的监控状态[root@client ~]# ceph health HEALTH_OK查看ceph的实时运行状态[root@client ~]# ceph...转载 2018-05-21 10:23:35 · 692 阅读 · 0 评论 -
探索 Ceph 文件系统和生态系统
作为一名存储行业的架构师，我对文件系统情有独钟。这些系统用来存储系统的用户界面，虽然它们倾向于提供一系列类似的功能，但它们还能够提供差异显著的功能。Ceph 也不例外，它还提供一些您能在文件系统中找到的最有趣的功能。Ceph 最初是一项关于存储系统的 PhD 研究项目，由 Sage Weil 在 University of California, Santa Cruz（UCSC）实施。但是到了 2...转载 2018-04-17 00:31:02 · 482 阅读 · 0 评论 -
玩转 Ceph 的正确姿势
内容目录：Ceph 客户端Ceph 服务端总结参考玩转 Ceph 的正确姿势本文先介绍 Ceph， 然后会聊到一些正确使用 Ceph 的姿势；在集群规模小的时候，Ceph 怎么玩都没问题；但集群大了（到PB级别），这些准则可是保证集群健康运行的不二法门；Ceph 最初的目标是做一个分布式文件系统，直到现在这个目标也不能算完美实现；目前官网上对它的文件系统还是谨慎推荐的态度（不建议对线上核心业务部署...转载 2018-04-17 00:32:23 · 325 阅读 · 0 评论 -
ceph和hdfs
Ceph是一套高性能，易扩展的，无单点的分布式文件存储系统，基于Sage A. Weil的论文开发，主要提供以下三个存储服务：对象存储(Object Storage)，既可以通过使用Ceph的库，利用C, C++, Java, Python, PHP代码，也可以通过Restful网关以对象的形式访问或存储数据，兼容亚马逊的S3和OpenStack的Swift。块存储(Block Storage)，...转载 2018-04-17 11:40:00 · 1875 阅读 · 0 评论 -
ceph工作原理及安装
导读：CEPHFS则提供了POSIX接口，用户可直接通过客户端挂载使用。它是内核态的程序，所以无需调用用户空间的librados库。它通过内核中的net模块来与Rados进行交互。安装：（1）设置好yum源、hosts文件以及ssh的互信！（防火墙selinux）（2）先在一个monitor节点上安装ceph-deploy，并配置好配置文件（3）在所有节点上安装ceph（4）仅在（2）中的moni...转载 2018-04-17 14:18:26 · 822 阅读 · 0 评论 -
智能分布CRUSH
CRUSH（Controlled Replication Under Scalable Hashing）是一种基于伪随机控制数据分布、复制的算法。Ceph是为大规模分布式存储系统（PB级的数据和成百上千台存储设备）而设计的，在大规模的存储系统里，必须考虑数据的平衡分布和负载（提高资源利用率）、最大化系统的性能，以及系统的扩展和硬件容错等。CRUSH就是为解决以上问题而设计的...转载 2018-04-17 16:00:38 · 318 阅读 · 0 评论 -
如何安装Ceph并对接OpenStack
如何安装Ceph并对接OpenStack安装Ceph准备工作：关闭SELinuxsed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/configsetenforce 0打开Ceph端口# firewall-cmd --zone=public --add-port=6789/tcp --permanent# firewall-...转载 2018-04-17 16:18:49 · 1281 阅读 · 0 评论 -
openstack 后端存储ceph分布式搭建为什么不建议和raid搭配使用？
如题，我在红帽官网文档看到说构建ceph存储集群时，建议说不要与raid混合使用，这是为什么？求解释。https://access.redhat.com/documentation/en/red-hat-ceph-storage/version-1.2.3/red-hat-ceph-storage-123-installation-guide-for-centos-x86-64/#disable_...转载 2018-04-17 23:25:31 · 5639 阅读 · 0 评论 -
Ceph对象存储运维惊魂72小时（上）
http://sanwen8.cn/p/12bgMGZ.htmlCeph 作为一款开源的分布式存储软件，可以利用X86服务器自身的本地存储资源，创建一个或多个存储资源池，并基于资源池对用户提供统一存储服务，包括块存储、 对象存储、文件存储，满足企业对存储高可靠性、高性能、高可扩展性方面的需求，并越来越受到企业的青睐。经过大量的生产实践证明，Ceph的设计理念先 进，功能全面，使用灵活，富有弹性。不...转载 2018-05-01 12:22:16 · 564 阅读 · 0 评论 -
ceph web监控管理平台calamari
更新时间：20170803 (之前网盘链接被吞了)前言各种搜索无果，官方文档是基于Ubuntu，没有找到一篇清晰明朗的适合新手安装的centos7文档，之前测试环境倒腾过2次均不了了之，当集群正式跑出起来时，某天晚上发疯坚持搞了出来，大神忽略~环境已有： CentOS 7.3(基础设施服务器) Ceph 10.2.7（jewel）后部署：Calamari 1.3.3介绍注：介绍和rpm包借鉴磨大神...转载 2018-05-03 16:44:50 · 3678 阅读 · 0 评论 -
ceph监控管理平台calamari
环境已有： CentOS 7.3(基础设施服务器) Ceph 10.2.7（jewel）后部署：Calamari 1.3.3介绍注：介绍和rpm包均出自磨大神博客http://www.zphj1987.com/ 你值得拥有!Calamari包含的组件主要有calamari-server；romana；salt-minion；salt-master；diamond。这些模块各自的作用：calamar...转载 2018-05-03 16:50:11 · 3551 阅读 · 0 评论 -
Pool 对应 PG PGP数量的计算公式(可以对pool做快照)
Pool 对应 PG PGP数量的计算公式： 官方计算地址Total PGs = ((Total_number_of_OSD * Target PGs per OSD) / max_replication_count) / pool_countTarget PGs per OSD 通常被设置为 100 Pool是ceph存储数据时的逻辑分区，它起到namespace的作用。其他分布式存储系统，比...转载 2018-04-25 19:55:00 · 4036 阅读 · 0 评论 -
ceph存储三种类型
（1）提供块存储，可以直接以逻辑卷的方式对外提供块设备服务。（2）通过集群的对象存储网关，对外同时提供swift和S3风格的对象存储服务。（3）提供可供挂载的类POSIX文件存储。...转载 2018-04-28 16:07:45 · 5466 阅读 · 0 评论 -
ceph weight 和 reweight的区别
用ceph osd tree 命令查看ceph 集群，会发现有weight 和 reweight 两个值 weight 权重和磁盘的容量有关，一般1T，值为1.000, 500G就是0.5 其和磁盘的容量有关系，不因磁盘可用空间的减少而变化其可以通过以下命令设置ceph osd crush reweight Reweight 是一个0到1 之间的值，可以用以下命令设置，...转载 2018-10-16 17:48:11 · 3742 阅读 · 0 评论