zuopiezia的博客

综上所述，iSCSI和FC各有优缺点，企业在选择时应根据自身需求进行权衡。对于需要高带宽、低延迟和高度可靠性的场景，FC可能是更好的选择；而对于需要低成本、高灵活性和易于管理的场景，iSCSI则更具优势。

Serial Attached SCSI）和SATA（Serial Advanced Technology Attachment）是两种常见的计算机接口标准，用于连接硬盘驱动器（HDD）和固态驱动器（SSD）。

在Ceph分布式存储系统中，PG（Placement Group）和PGP（Placement Group for Placement purpose）是两个至关重要的概念，它们共同决定了数据在集群中的分布和复制方式。

此外，还有一些其他状态，如“Replay”（某OSD崩溃后，PG正在等待客户端重新发起操作）等。这些状态共同构成了Ceph集群中PG的完整状态集，反映了集群的健康状况和数据的分布情况。管理员可以通过监控这些状态来及时发现并解决问题，确保Ceph集群的稳定性和可靠性。Ceph PG（Placement Group）的状态反映了Ceph集群中数据的健康状况和分布情况。

librbd和kernel rbd是Ceph客户端写入OSD数据的两种主要方式。librbd提供了灵活的编程接口和高效的数据管理功能，适用于多种开发语言和场景；而kernel rbd则提供了与标准块设备兼容的接口，方便现有应用系统的迁移和集成。在选择使用哪种方式时，需要根据具体的应用场景、性能需求以及开发人员的技能水平进行综合考虑。

Ceph是一个可靠的、自治的、可扩展的分布式存储系统，它支持文件系统存储、块存储、对象存储三种不同类型的存储，以满足多样存储的需求。在Ceph的存储架构中，FileStore和BlueStore是两种重要的后端存储引擎，下面将分别进行详细介绍：FileStore 概述： FileStore是Ceph早期采用的后端存储引擎。 它建立在传统的文件系统之上，如XFS、EXT4、BTRFS等。 工作原理： 在FileStore模式下，数据从OSD（Object Storage Dae

这是Ceph的默认存储池类型。它通过生成对象的多份拷贝来确保数据的冗余和高可用性。

因此， Ceph可以分两次向客户端进行确认。当某个客户端需要向Ceph集群写入一个File时，首先需要在本地完成前面所述的寻址流程，将File变为一个Object，然后找出存储该Object的一组共3个OSD，这3个OSD具有各自不同的序号，序号最靠前的那个OSD就是这一组中的Primary OSD，而后两个则依次Secondary OSD和Tertiary OSD。从OSD的角度来看，由于同一个OSD在不同的PG中的角色不同，因此，其工作压力也可以被尽可能均匀地分担，从而避免单个OSD变成性能瓶颈。

Crush（Controlled Replication Under Scalable Hashing）算法是一种可扩展的、分布式的副本数据放置算法，广泛用于存储系统中，特别是Ceph分布式存储系统中。

4. PG 会根据设置的副本数量进行复制，通过对 PGID 使用 CRUSH 算法算出 PG 中目标主和次 OSD 的 ID，存储到不同的 OSD 节点上（其实是把 PG 中的所有对象存储到 OSD 上）。3. 通过对 OID 使用 HASH 算法得到一个16进制的特征码，用特征码与 Pool 中的 PG 总数取余，得到的序号则是 PGID。比如：一个文件 FileID 为 A，它被切成了两个对象，一个对象编号0，另一个编号1，那么这两个文件的 oid 则为 A0 与 A1。●ono ：则是分片的编号。

高层接口层在librados库的基础上提供了抽象层次更高、更便于应用或客户端使用的上层接口。它包括了RADOS GW、RBD（Reliable Block Device）和Ceph FS（Ceph File System）三个部分。综上所述，Ceph的层次结构从逻辑上分为基础存储系统RADOS层、基础库librados层、高层接口层和应用层。每个层次都有其特定的功能和组件，共同构成了Ceph分布式存储系统的强大架构。

[root@compute01 ~]# ceph -s cluster: id: 59458cbe-1086-40ee-8e6b-6ba8aea5c8e4 health: HEALTH_WARN Degraded data redundancy: 34/84820 objects degraded (0.040%), 1 pg[1.4a7] degraded, 1 pg[1.4a7] undersized services: mon: 3.

PGNumBase = （扩容后的总的OSD 个数 x 100）/副本数然后对这个基数进行 2 的次幂取整：找到一个数 N，使得 2N < PgNumBase < 2(N+1) 或者 2N == PgNumBase。如果是 2N == PgNumBase，那么取整后的值不变，PgNum = PgNumBase。如果是 2N < PgNumBase < 2(N+1) 当 PgNumBase <= ( 2N * 1.25 ) 时，PgNum = 2N。否则 PgNum.

##删除osd.8盘，查看盘的状态[root@ceph24 ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 558.4G 0 disk└─sda1 8:1 0 558.4G 0 part /sdb 8:16 0 1.8T 0 disk├─sdb1 8:17 ...

##ceph_report_email.py#! /usr/bin/env python# -*- coding: UTF-8 -*-import smtplibimport osfrom email.mime.text import MIMETextmailto_list=['xxxx@xxx.com'] #收件人(列表)mail_host="smtp.163.c...

1.客户反映 平台虚拟机无法登陆。由于无法远程接入，去客户现场解决2.排查过程2.1 与客户交流中，得知客户有大量数据写入云平台。2.2 登陆平台底层，检查存储使用量如下：[root@compute01 ~]# ceph dfGLOBAL: SIZE AVAIL RAW USED %RAW USED 9895G 1668G...

#!/bon/bashCeph 官网installed#1. 做无密码访问设置ssh-keygenfor i in {161..164};do ssh-copy-id -i .ssh/id_rsa.pub root@10.100.201.$i;done#2.源设置for i in {161..164};do ssh 10.100.201.$i "yum install -y https...

##查看ceph 使用量[root@ceph02 ~]# ceph dfGLOBAL: SIZE AVAIL RAW USED %RAW USED 400 GiB 392 GiB 8.1 GiB 2.01POOLS: NAME ID USED %USED ...

###有两个警告[root@ceph01 myceph]# ceph -s cluster: id: 3a10f3b9-4469-44a7-817a-df5cdc8e65da health: HEALTH_WARN application not enabled on 2 pool(s) 1 pools have ...

####设置rgw 网关###设置rgw ，创建一个节点为网关节点[root@ceph01 myceph]# ceph-deploy rgw create ceph02[root@ceph01 myceph]# ceph -s cluster: id: 3a10f3b9-4469-44a7-817a-df5cdc8e65da health: HEALTH_O...

##创建 mds 节点ceph-deploy mds create ceph03###创建pool[root@ceph01 myceph]# ceph osd pool create cephfs_data 32pool 'cephfs_data' created[root@ceph01 myceph]# ceph osd pool create cephfs_metadata...

###查看crushmap[root@ceph01 ~]# ceph osd getcrushmap -o crushmap.txt97[root@ceph01 ~]# crushtool -d crushmap.txt -o crushmap-decompile[root@ceph01 ~]# lsanaconda-ks.cfg crushmap-decompile crush...

aliyun yum 源安装ceph集群[root@ceph16 yum.repos.d]# less ceph.repo[Ceph-SRPMS]name=Ceph SRPMS packagesbaseurl=https://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/enabled=1gpgcheck=0type=rpm-md[Ceph-...