ceph命令总结

文章列举了在Ceph分布式存储系统中管理集群、监控状态、查看OSD、PG等关键组件的常用命令,包括启动ceph进程、查看mon状态、检查osd运行状态、查看pg映射信息等,涵盖了从基础监控到深入诊断的多个层面。

ceph命令总结

一、集群

1、启动一个ceph 进程

2、查看机器的监控状态[查看集群健康状态细节]

ceph health [detail]

3、查看ceph的实时运行状态(常用)

ceph -w

4、检查信息状态信息(常用)

ceph -s

5、查看ceph存储空间

ceph df

6、查看ceph集群中的认证用户及相关的key(常用)

ceph auth list

7、查看ceph log日志所在的目录

ceph-conf --name mon.node1 --show-config-value log_file
二、mon

1、查看mon的状态信息

#ceph mon stat

输出信息:

e2: 3 mons at {
   
   10.186.9.13=10.186.9.13:6789/0,10.186.9.14=10.186.9.14:6789/0,10.186.9.16=10.186.9.16:6789/0}, election epoch 46, leader 0 10.186.9.13, quorum 0,1,2 10.186.9.13,10.186.9.14,10.186.9.16

2、查看mon的选举状态

# ceph quorum_status

输出信息:

{
   
   "election_epoch":46,"quorum":[0,1,2],"quorum_names":["10.186.9.13","10.186.9.14","10.186.9.16"],"quorum_leader_name":"10.186.9.13","monmap":{
   
   "epoch":2,"fsid":"e6e8accb-6f7d-460e-93fe-06d49b1fde83","modified":"2019-11-19 16:36:44.137334","created":"2019-11-19 16:36:30.935660","features":{
   
   "persistent":["kraken","luminous"],"optional":[]},"mons":[{
   
   "rank":0,"name":"10.186.9.13","addr":"10.186.9.13:6789/0","public_addr":"10.186.9.13:6789/0"},{
   
   "rank":1,"name":"10.186.9.14","addr":"10.186.9.14:6789/0","public_addr":"10.186.9.14:6789/0"},{
   
   "rank":2,"name":"10.186.9.16","addr":"10.186.9.16:6789/0","public_addr":"10.186.9.16:6789/0"}]}}

3、查看mon的映射信息

# ceph mon dump

输出信息:

dumped monmap epoch 1
epoch 1
fsid c71f378b-e86b-4c49-8b54-a9d85a6122c2
last_changed 2020-08-03 16:50:50.647195
created 2020-08-03 16:50:50.647195
0: 10.5.29.54:6789/0 mon.10.5.29.54

4、删除一个mon节点

# ceph mon remove node1

5、获得一个正在运行的mon map,为二进制mon.bin

# ceph mon getmap -o mon.bin
三、msd

1、查看msd状态

# ceph mds stat

输出结果:

cephfs-1/1/1 up  {
   
   0=openstack1=up:active}

2、查看msd的映射信息

ceph mds dump

输出结果:

dumped fsmap epoch 45552
fs_name cephfs
epoch   45552
flags   c
created 2020-09-08 18:03:49.514279
modified        2020-09-25 09:25:56.099961
tableserver     0
root    0
session_timeout 60
session_autoclose       300
max_file_size   1099511627776
last_failure    0
last_failure_osd_epoch  210
compat  compat={
   
   },rocompat={
   
   },incompat={
   
   1=base v0.20,2=client writeable ranges,3=default file layouts on dirs,4=dir inode in separate object,5=mds uses versioned encoding,6=dirfrag is stored in omap,8=no anchor table,9=file layout v2}
max_mds 1
in      0
up      {
   
   0=2084098}
failed
damaged
stopped
data_pools      [7]
metadata_pool   8
inline_data     disabled
balancer
standby_count_wanted    0
2084098:        10.5.29.54:6800/1252110594 'openstack1' mds.0.45540 up:active seq 23

3、删除一个mds节点

# ceph  mds rm 0 mds.node1
四、osd

1、查看ceph osd运行状态

# ceph osd stat

输出信息:

1 osds: 1 up, 1 in

2、查看osd映射信息

# ceph osd dump

输出信息:

epoch 218
fsid c71f378b-e86b-4c49-8b54-a9d85a6122c2
created 2020-08-03 16:50:50.839507
modified 2020-09-30 13:18:29.712934
flags sortbitwise,recovery_deletes,purged_snapdirs
crush_version 7
full_ratio 0.95
backfillfull_ratio 0.9
nearfull_ratio 0.85
require_min_compat_client jewel
min_compat_client jewel
require_osd_release luminous
pool 1 'images' replicated size 1 min_size 1 crush_rule 1 object_hash rjenkins pg_num 16 pgp_num 16 last_change 118 lfor 0/116 flags hashpspool stripe_width 0 application rbd
        removed_snaps [1~3,8~2]
pool 2 'volumes' replicated size 1 min_size 1 crush_rule 1 object_hash rjenkins pg_num 16 pgp_num 16 last_change 218 lfor 0/119 flags hashpspool stripe_width 0 application rbd
        removed_snaps [1~3]
pool 3 'backups' replicated size 1 min_size 1 crush_rule 1 object_hash rjenkins pg_num 16 pgp_num 16 last_change 200 lfor 0/125 flags hashpspool stripe_width 0 application rbd
pool 4 'vms' replicated size 1 min_size 1 crush_rule 1 object_hash rjenkins pg_num 16 pgp_num 16 last_change 124 lfor 0/122 flags hashpspool stripe_width 0 application rbd
        removed_snaps [1~3]
pool 5 'k8s' replicated size 1 min_size 1 crush_rule 0 object_hash rjenkins pg_num 8 pgp_num 8 last_change 60 flags hashpspool stripe_width 0
pool 6 '.rgw.root' replicated size 1 min_size 1 crush_rule 0 object_hash rjenkins pg_num 8 pgp_num 8 last_change 132 flags hashpspool stripe_width 0 application rgw
pool 7 'cephfs_data' replicated size 1 min_size 1 crush_rule 1 object_hash rjenkins pg_num 8 pgp_num 8 last_change 173 flags hashpspool stripe_width 0 application cephfs
pool 8 'cephfs_metadata' replicated size 1 min_size 1 crush_rule 1 object_hash rjenkins pg_num 8 pgp_num 8 last_change 174 flags hashpspool stripe_width 0 application cephfs
pool 9 'default.rgw.control' replicated size 1 min_size 1 crush_rule 0 object_hash rjenkins pg_num 8 pgp_num 8 last_change 151 flags hashpspool stripe_width 0 application rgw
pool 10 'default.rgw.meta' replicated size 1 min_size 1 crush_rule 0 object_hash rjenkins pg_num 8 pgp_num 8 last_change 156 flags hashpspool stripe_width 0 application rgw
pool 11 'default.rgw.log' replicated size 1 min_size 1 crush_rule 0 object_hash rjenkins pg_num 8 pgp_num 8 last_change 160 flags hashpspool stripe_width 0 application rgw
max_osd 1
osd.0 up   in  weight 1 up_from 212 up_thru 212 down_at 211 last_clean_interval [207,209) 10.5.29.54:6802/5668 10.5.29.54:6803/5668 10.5.29.54:6804/5668 10.5.29.54:6805/5668 exists,up 9fd52adc-c323-42a0-b130-a779bbdaf0b4

3、查看osd的目录树

# ceph osd tree

输出信息:

输出信息:
ID CLASS WEIGHT  TYPE NAME           STATUS REWEIGHT PRI-AFF 
-1       0.64000 root default                                
-2             0     host 10.5.29.54                         
-5       0.64000     host openstack1                         
 0   hdd 0.64000         osd.0           up  1.00000 1.00000 

4、查看osd各硬盘使用率

# ceph osd df

输出信息:

输出信息:
ID CLASS WEIGHT  REWEIGHT SIZE   USE     AVAIL  %USE VAR  PGS 
 0   hdd 0.64000  1.00000 600GiB 11.0GiB 589GiB 1.83 1.00 120 
                    TOTAL 600GiB 11.0GiB 589GiB 1.83          
MIN/MAX VAR: 1.00/1.00  STDDEV: 0

5、查看osd延时

# ceph osd perf

输出信息:

osd commit_latency(ms) apply_latency(ms) 
  0                  0                 0 
五、PG组

1、查看pg组的映射信息

# ceph pg dump

输出信息:

dumped all
version 607481
stamp 2020-10-09 11:16:32.865738
last_osdmap_epoch 0
last_pg_scan 0
full_ratio 0
nearfull_ratio 0
PG_STAT OBJECTS MISSING_ON_PRIMARY DEGRADED MISPLACED UNFOUND BYTES     LOG  DISK_LOG STATE        STATE_STAMP                VERSION    REPORTED    UP  UP_PRIMARY ACTING ACTING_PRIMARY LAST_SCRUB SCRUB_STAMP                LAST_DEEP_SCRUB DEEP_SCRUB_STAMP           SNAPTRIMQ_LEN 
11.3         22                  0        0         0       0         0 1554     1554 active+clean 2020-10-08 23:40:08.999691  218'65354   218:98261 [0]          0    [0]              0  218'63422 2020-10-08 23:40:08.999638       218'58648 2020-10-07 19:21:09.086796             0 
10.2          0                  0        0         0       0         0    0        0 active+clean 2020-10-08 17:03:50.360386        0'0     218:145 [0]          0    [0]              0        0'0 2020-10-08 17:03:50.360073             0'0 2020-10-03 16:33:37.680982             0 
9.1           1                  0        0         0       0         0   15       15 active+clean 2020-10-08 08:10:13.634676     213'15  218:261552 [0]          0    [0]              0     213'15 2020-10-08 08:10:13.634540          213'15 2020-10-07 07:55:43.794747             0 
3.b           0                  0        0         0       0         0    0        0 active+clean 2020-10-09 08:05:07.603764        0'0     218:441 [0]          0    [0]              0        0'0 2020-10-09 08:05:07.603570             0'0 2020-10-08 04:10:55.985889             0 
2.a           3                  0        0         0       0       117  696      696 active+clean 2020-10-08 01:01:15.979950    218'696  218:124863 [0]          0    [0]              0    218'695 2020-10-08 01:01:15.979563         218'695 2020-10-05 09:23:23.610962             0 
1.9          86                  0        0         0       0 684376727  188      188 active+clean 2020-10-08 08:27:35.916078     71'188     218:836 [0]          0    [0]              0     71'188 2020-10-08 08:27:35.915814          71'188 2020-10-08 08:27:35.915814             0 
4.c           7                  0        0         0       0   8402530 1563     1563 active+clean 2020-10-09 05:48:38.892392 218'394363  218:672698 [0]          0    [0]              0 217'394362 2020-10-09 05:48:38.892240      217'394362 2020-10-08 04:31:51.649845             0 
8.0           4                  0        0         0       0         0    8        8 active+clean 2020-10-09 05:11:56.978009      162'8     218:267 [0]          0    [0]              0      162'8 2020-10-09 05:11:56.977695           162'8 2020-10-05 12:27:57.351136             0 
11.2         26                  0        0         0       0         0 1594     1594 active+clean 2020-10-08 12:58:06.268311  218'90994  218:136755 [0]          0    [0]              0  218'85762 2020-10-08 12:58:06.268206       218'52208 2020-10-02 13:31:54.916159             0 
10.3          0                  0        0         0       0         0    0        0 active+clean 2020-10-09 00:13:54.479007        0'0     218:145 [0]          0    [0]              0        0'0 2020-10-09 00:13:54.478738             0'0 2020-10-02 12:03:50.578100             0 
9.0           1                  0        0         0       0         0   15       15 active+clean 2020-10-09 05:20:58.550242     213'15  218:268427 [0]          0    [0]              0     213'15 2020-10-09 05:20:58.550128          213'15 2020-10-07 21:28:01.376248             0 
3.a           0                  0        0         0       0         0    0        0 active+clean 2020-10-08 18:27:30.668569        0'0     218:439 [0]          0    [0]              0        0'0 2020-10-08 18:27:30.668417             0'0 2020-10-07 16:04:00.976150             0 
2.b           1                  0        0         0       0        98  106      106 active+clean 2020-10-08 10:05:35.206002    217'106     218:703 [0]          0    [0]              0    217'106 2020-10-08 10:05:35.205802         217'106 2020-10-06 03:38:00.975439             0 
1.8          86                  0        0         0       0 717931008  287      287 active+clean 2020-10-08 07:06:10.779285     70'287    218:1569 [0]          0    [0]              0     70'287 2020-10-08 07:06:10.778936          70'287 2020-10-08 07:06:10.778936             0 
4.d           5                  0        0         0       0  16388608 1546     1546 active+clean 2020-10-09 08:30:59.011121 218'624246  218:727723 [0]          0    [0]              0 217'624240 2020-10-09 08:30:59.010908      217'624240 2020-10-06 23:57:54.087248             0 
8.1           0                  0        0         0       0         0    0        0 active+clean 2020-10-09 02:16:40.314110        0'0     218:249 [0]          0    [0]    
<think> 首先,用户的问题是:“我想获取ceph的总结信息 请问ceph的总结”。意思是他们想要一个关于Ceph的总结信息,即Ceph的概述或关键点总结。 从系统级指令中,我需要: - 所有行内数学表达式使用$...$格式。 - 独立公式使用$$...$$格式并单独成段。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识,如[^1]。 - 回答结构清晰,帮助用户逐步解决问题,尽量保证回答真实可靠。 用户提供了几个引用,但这些引用是关于Ceph安装、配置、命令等的具体细节。用户说“上述引用仅供参考,并不是用户真正的需求”,所以我不能完全依赖这些引用;而是参考这些引用来构建回答。引用包括: - [^1]: ceph安装命令。 - [^2]: Ceph配置文件。 - [^3]: Ceph的Monitor行为。 - [^4]: ceph命令输出。 用户的问题是关于Ceph的总结信息,所以我需要提供一个全面的概述:Ceph是什么、它的关键特性、工作原理、用途等。我应该从这些引用中提取相关信息,但也要基于一般知识来补充。 Ceph是一个开源的分布式存储系统,提供对象存储、块存储和文件系统存储。它设计用于可扩展性、可靠性和高性能。 关键点: - **定义**:Ceph是一个分布式对象存储系统。 - **组件**: - Monitor (Mon):管理集群状态。 - OSD (Object Storage Daemon):存储实际数据。 - MDS (Metadata Server):用于CephFS文件系统。 - **通信**:基于CRUSH算法和PGs (Placement Groups)。 - **安装和配置**:如引用所示,使用ceph-deploy安装,配置文件包括global部分。 - **特性**:自愈、自管理、可扩展。 用户引用了Monitor的惰性更新行为(引用[^3]),所以我应该提到这一点。也提到了配置文件(引用[^2])和命令输出(引用[^4])。 回答结构: 1. **介绍Ceph**:简要说明Ceph是什么。 2. **关键特性**:列出主要特性。 3. **核心组件**:描述Mon、OSD等。 4. **工作原理**:简要解释CRUSH算法、数据分布。 5. **安装和配置**:基于引用,总结安装步骤和配置。 6. **引用信息**:自然地融入引用点。 最后,生成相关问题。 使用中文回答。 添加引用标识: - 当引用特定点时,如配置或Monitor行为,添加[^1], [^2]等。 数学表达式:Ceph中可能涉及算法,但Ceph的总结可能不需要数学。如果需要,例如CRUSH算法,可以用LaTeX表示概率或公式。 例如,CRUSH算法使用伪随机函数:$CRUSH(x) = \text{output}$。但在总结中,可能不需要复杂数学。 确保回答真实可靠:基于提供的引用和常识。 大纲回答: 1. **Ceph概述**:Ceph是一个开源的、统一的分布式存储平台。 2. **主要特性**:可扩展性、高可用、自我修复。 3. **组件**: - Monitor:管理集群元数据,如引用[^3]所述,它惰性地等待客户端获取更新[^3]。 - OSD:存储对象数据。 - MDS:为CephFS提供元数据。 4. **数据分布**:使用CRUSH算法进行数据放置。 5. **安装**:使用ceph-deploy命令安装,如引用[^1]所示:`ceph-deploy install host`[^1]。 6. **配置**:配置文件包括[global]部分,设置如fsid、mon_host等,如引用[^2]所述[^2]。 7. **命令示例**:`ceph`命令输出集群信息,如引用[^4]所示[^4]。 8. **应用场景**:云存储、虚拟化、大数据等。 9. **总结**:Ceph适用于大规模分布式存储需求。 生成相关问题: 例如: 1. Ceph的CRUSH算法是如何工作的? 2. 如何优化Ceph集群性能? 3. Ceph在哪些场景下表现最好? 在回答中,自然地添加引用。 </think> ### Ceph 总结概述 Ceph 是一个开源的、统一的分布式存储系统,设计用于提供高性能、可扩展性和自愈能力,适用于大规模数据存储场景。它支持对象存储(RADOS Gateway)、块存储(RBD)和文件系统存储(CephFS),广泛应用于云环境、虚拟化和大数据分析。以下是 Ceph 的关键总结信息,基于其核心特性和工作原理: 1. **核心特性**: - **可扩展性**:Ceph 能轻松扩展到数千节点,支持动态增减存储节点,无需停机。 - **高可用性**:通过多副本或纠删码机制保证数据冗余,自动处理节点故障[^3]。 - **自我修复**:当 OSD(Object Storage Daemon)故障时,系统自动重新分布数据,恢复完整性。 - **统一存储**:支持多种接口(对象、块、文件),简化存储架构。 2. **核心组件**: - **Monitor (Mon)**:管理集群元数据(如 OSDMap),但不主动广播更新,而是惰性地等待客户端或 OSD 主动获取,以减少压力[^3]。例如,集群状态通过 `ceph` 命令查询(如引用[^4]所示)。 - **OSD (Object Storage Daemon)**:存储实际数据对象,每个 OSD 管理本地磁盘上的数据块。安装时使用 `ceph-deploy install` 命令(如 `ceph-deploy install ceph-osd1`)在主机上部署所需包[^1]。 - **Metadata Server (MDS)**:仅用于 CephFS,处理文件元数据。 - **CRUSH 算法**:用于数据分布,计算对象存储位置(公式:$ \text{CRUSH}(object, rule) \rightarrow OSD \, set $),确保负载均衡。 3. **工作原理**: - **数据分布**:数据被分割为对象,映射到 PGs(Placement Groups),再通过 CRUSH 算法分布到 OSD。例如,写入数据时,客户端直接与 OSD 通信,减少 Mon 瓶颈[^3]。 - **集群管理**:Mon 维护全局状态(如 OSDMap),配置文件中的 `[global]` 部分定义关键参数(如 `fsid`、`mon_host`),如引用[^2]所示[^2]。 - **通信框架**:基于异步消息传递,支持高效数据传输和故障检测。 4. **安装与配置**: - **安装步骤**:使用 `ceph-deploy` 工具简化部署(如 `ceph-deploy install ceph-controller` 安装主节点包[^1])。 - **配置文件**:位于 `/etc/ceph/ceph.conf`,包含全局设置: ``` [global] fsid = xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx # 集群唯一标识 mon_initial_members = host1,host2 mon_host = IP1,IP2 osd_pool_default_size = 3 # 默认副本数 ``` 详细配置参考引用[^2][^2]。 - **集群状态查询**:通过 `ceph` 命令获取信息(如引用[^4]的输出),包括选举状态、OSD 分布等。 5. **应用场景**: - 云存储(如 OpenStack 的后端存储)。 - 虚拟化环境(提供块存储给虚拟机)。 - 大数据分析(处理海量非结构化数据)。 - 优势:成本低、易于扩展,但需注意网络带宽和配置优化。 总结:Ceph 是一个强大的分布式存储解决方案,通过分散式架构和智能算法(如 CRUSH)实现高可靠性和弹性。安装和配置相对简单(参考引用[^1][^2]),但性能调优需结合具体场景。更多细节可查阅官方文档或实验环境测试。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值