ceph集群搭建

最新推荐文章于 2025-09-11 01:43:18 发布
原创 最新推荐文章于 2025-09-11 01:43:18 发布 · 1.1k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph

一、前言

     本次搭建ceph集群，使用centos7版本的系统，最高支持ceph版本为15.2.13，如需更高的版本需要使用centos8版本以上的系统，使用cephadm进行搭建，Cephadm 是一个用于部署、管理和监控 Ceph 集群的工具，它是 Ceph 社区官方提供的一种部署方式。Cephadm 的目标是简化 Ceph 集群的部署和管理，并提供了一种简单而灵活的方式来管理 Ceph 集群

主机信息

主机ip服务
ceph0110.1.60.126mon、osd、mgr、mds
ceph0210.1.60.127mon、osd、mgr、mds
ceph0310.1.60.128mon、osd、mds
ceph0410.1.60.129

osd

ceph04后面作为新增节点加入集群 

二、搭建

以下操作在每个节点都需执行

关于系统优化

参考:centos系统优化_root soft nproc unlimited-优快云博客

配置主机名称

hostnamectl set-hostname ceph01

配置主机解析

vi /etc/hosts

10.1.60.126 ceph01
10.1.60.127 ceph02
10.1.60.128 ceph03
10.1.60.129 ceph04

安装docker

参考:部署docker-ce_安装部署docker-ce-优快云博客

配置ceph yum源

vi  /etc/yum.repos.d/ceph.repo 

[Ceph]
name=Ceph
baseurl=https://mirrors.aliyun.com/ceph/rpm-15.2.9/el7/x86_64/
enabled=1
gpgcheck=0

[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-15.2.9/el7/noarch/
enabled=1
gpgcheck=0

 以下操作只需要在ceph01节点执行即可

安装cephadm

yum install -y cephadm

创建ceph文件存放目录

mkdir /etc/ceph

安装mon服务

cephadm bootstrap  --mon-ip 10.1.60.126 --allow-fqdn-hostname --initial-dashboard-user admin --initial-dashboard-password 12345678 --dashboard-password-noupdate

正常最后会输出用户名和密码还有url，如果部署dashboard报错的话就手动部署一下

部署dashboard报错的情况下手动执行以下操作

进入ceph集群进行命令行操作
cephadm shell
开启dashboard功能
ceph mgr module enable dashboard
生成dashboard的自签证书
ceph dashboard create-self-signed-cert 
创建dashboard密码文件
vi ceph_password
12345678
指定dashboard的用户名和密码
ceph dashboard set-login-credentials admin -i ceph_password
查看dashboard的访问url
ceph mgr services

通过以上url和用户名密码访问dashboard

 查看拉起的镜像服务

docker ps

部署的过程中还生成了配置文件和密钥文件

ls /etc/ceph 

 由于是cephadm部署的ceph集群，没有安装客户端的情况下只能通过cephadm交互式的方式查看集群信息

cephadm shell
ceph -s

 安装ceph客户端

需要先安装epel，不然会提示没有依赖

yum -y install epel-release
yum -y install ceph-common

安装完成后可以直接使用ceph命令查看集群信息

ceph -s
ceph orch ps

 将ceph集群的公钥分配到其它节点中

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph02
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph03
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph04

在其余节点加入前需要先安装python3，不然会出现报错

yum -y install python3

将其余节点加入到集群中

ceph orch host add ceph02
ceph orch host add ceph03

扩展mon节点数量

ceph orch apply mon ceph01,ceph02,ceph03

指定mgr节点

ceph orch apply mgr ceph01,ceph02

指定osd

查看集群磁盘清单

ceph orch device ls

指定磁盘为osd

ceph orch apply osd --all-available-devices   #指定所有可用磁盘为osd
ceph orch daemon add osd hostname:磁盘路径    #指定单个磁盘为osd
#这里使用指定单个磁盘为osd的方式
for i in ceph01 ceph02 ceph03; do for b in sdb sdc sdd; do ceph orch daemon add osd $i:/dev/$b; done; done

 查看集群信息

ceph -s

 至此ceph集群部署完成

新增ceph04节点，该节点作为单纯的osd节点，即存储节点

因为上面已经分配了集群公钥到ceph04节点就不需要再分配了

ceph orch host add ceph04

查看集群磁盘清单

ceph orch device ls

将ceph04的磁盘指定为osd

ceph orch daemon add osd ceph04:/dev/sdb
ceph orch daemon add osd ceph04:/dev/sdc
ceph orch daemon add osd ceph04:/dev/sdd

通过dashborad查看

 故障测试(这里是创建了存储池并且使用后测试)

将ceph03节点直接关闭模拟故障

关闭后osd会进入in down状态，表明osd还在集群内但是不存活，obeject和pg也会显示有部分不可用状态

 当挂掉的osd为out down状态，表明osd不在集群内不存活，ceph集群会自动重新平衡object和pg，还有存储的值

 

挂掉的ceph03节点恢复后会重新加入集群中

 

Ubuntu14多节点搭建ceph集群
四妮儿L的博客
10-31 1428
Ubuntu14.04中Ceph搭建过程 安装环境： Ceph 0.87.2  Ubuntu-14.04 LTS  集群节点信息： Host   ip address mon    10.0.0.8   osd0    10.0.0.30 osd1    10.0.0.50 mon节点是admin节点，装一个monitor，一个osd，一个mds osd0 节点，装一个osd
Ceph集群搭建
weixin_44620146的博客
02-14 2247
目录 一.对象的存入过程 二.集群搭建 1.规划准备 2.配置 3.扩展ceph集群 一.对象的存入过程 file→object→PG(pool)→osd 1.用户使用客户端接入时，先将文件切分为固定大小的存储对象(Object) 2.RRADOS 把它的存储空间拆分成一个个存储池(pool)，存储池大小取决于底层容量大小，每一个存储池再进一步划分为名称空间，每一个存储池内部会有多个PG(归置组) 存储池和归置组都是抽象的逻辑概念 3.对象要存到RRADOS集群时，要先向存储
Ceph存储—基于CentOS7安装部署ceph集群
最新发布
weixin_60047971的博客
09-11 782
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack，Kubernetes都可与Ceph整合以支持虚拟机镜像的后端存储。粗略估计，我国70%—80%的云平台都将Ceph作为底层的存储平台，由此可见Ceph俨然成为了开源云平台的标配。
Ceph集群搭建详细教程（逐行解释）
weixin_40340920的博客
07-03 1768
Mon节点数量必须为奇数（防脑裂）分离公网/集群网络可提升性能（尤其在大流量场景）PG数量公式：(OSD数量 × 100) / 副本数（如3OSD/3副本建议100 PG）生产环境建议：使用ceph-ansible或cephadm自动化部署。
Ceph集群搭建系列（一）：Ceph 集群搭建
Yannick Jiang 的专栏
06-11 7350
目录 摘要： 目录 一、准备机器 二、ceph节点安装 三、搭建集群 后续：Ceph集群搭建系列（二）：Ceph 集群扩容 参考： 摘要： 本文介绍的Ceph 集群搭建是基于luminous版本（ceph -v: ceph version 12.2.11 (26dc3775efc7bb286a1d6d66faee0ba30ea23eee) luminous (stable)），c...
ceph集群搭建.docx
02-09
**CEPH高可用集群搭建详解** CEPH是一个先进的开源分布式存储解决方案，因其高扩展性、高性能和高可靠性而备受青睐。它可以提供块存储（RBD）、对象存储（RGW）和文件系统存储（CephFS）服务，适用于各种场景。在...
Ceph集群搭建2025（squid版）
weixin_42562106的博客
02-12 745
3 拷贝公钥其他节点 ---------其他节点安装cephadm------- 再回到安装节点添加节点。将自己也添加进去 调整MON(3),MGR(2个)，因为只有3个节点 最后自动添加所有osd级初始化磁盘
CEPH集群的搭建
woaini1314520_xhh的博客
06-22 1043
CEPH环境搭建1、创建5台虚拟机node1.tedu.cn  192.168.4.1node2.tedu.cn  192.168.4.2node3.tedu.cn  192.168.4.3node4.tedu.cn  192.168.4.4client.tedu.cn   192.168.4.102、启动虚机[root@room8pc16 kvms_ansi]# for vm in rh7_no...
Ceph集群
weixin_45544598的博客
08-20 325
准备四台KVM虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能： 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 1.2 方案 使用4台虚拟机，1台客户端、3台存储集群服务器，拓扑结构如图-1所示。 图-1 所有主机的主机名及对应的IP地址如表-1所示。 注意：所有主机基本...
ceph集群的搭建
Cat God 007的博客
11-26 3012
这里直接指定cluster-network（集群内部通讯）和public-network（外部访问Ceph集群），也可以在执行命令后修改配置文件方式指定。使用ceph-deploy命令将配置文件和 admin key复制到管理节点和Ceph节点，以便每次执行ceph CLI命令无需指定monitor地址和。创建监视器，初始化monitor,并收集所有密钥，官方介绍：为了获得高可用性，您应该运行带有至少三个监视器的生产Ceph集群。参数–no-adjust-repos是直接使用本地源，不生成官方源。
Ceph集群搭建篇
ttropsstack的博客
04-24 851
关于时间同步 在 Ceph 集群中，每台节点的时间同步非常重要，因为 Ceph 集群的各个组件都需要严格的时间同步才能正常运行。以下是一些重要原因：避免数据不一致：Ceph 集群中的数据副本分布在不同的节点上，如果节点之间的时间不同步，可能会导致写操作的数据不一致，或者无法正确地读取数据。避免时钟漂移：由于硬件和软件的原因，每个节点的时钟可能会出现漂移。如果这种漂移超过了一定的阈值，可能会导致 Ceph 系统无法正常工作。避免锁竞争问题：Ceph 集群中的许多组件都使用锁来控制访问资源的顺序。
搭建Ceph集群
mengshicheng1992的博客
10-07 728
搭建Ceph集群 此文以Ceph octopus版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源规划 节点名称 系统名称 CPU/内存 磁盘 网卡 IP地址 OS Deploy deploy.ceph.local 2C/4G 128G+3*20G ens33 192.168.0.10 CentOS7 Node1 node1.ceph.local 2C/4G 128G+3*20G ens33 192.168.0.11 CentOS7 ens37 10.0.0.11
ceph 集群搭建
qq_45631844的博客
10-05 539
本次实验我们主要 centos 7 系统上来搭建ceph 集群 准备工作 主机 IP地址 s1（主） 192.168.1.10 s2 192.168.1.20 s3 192.168.1.30 关闭防火墙以及selinux [root@s1 ~]# systemctl stop firewalld [root@s1 ~]# systemctl disable firewalld [root@s1 ~]# vi /etc/selinux/config ...... SELINUX=
Ceph 存储集群 - 搭建存储集群
Jian Sun_的博客
05-12 959
这篇文章认真读了一遍，写的非常好，文末有惊喜。 目录 一、准备机器 1. 修改主机名 2. 修改hosts文件 3. 确保联通性（管理节点） 二、ceph节点安装 1. 安装NPT（所有节点） 2. 安装SSH（所有节点） 3. 创建部署 CEPH 的用户（所有节点） 4. 允许无密码SSH登录（管理节点） 5. 引导时联网（ceph节点） 6. 开放所需端口（ceph节点） 7. 终端（TTY）（ceph节点） 8. 关闭selinux（ceph节点）
ceph存储集群搭建
lin的博客
10-04 159
Ubuntu下通过Docker快速搭建Ceph测试集群
centos7.9 ceph集群搭建
03-21
<think>好的，用户想在CentOS 7.9上搭建Ceph集群，需要详细的部署和配置指南。首先，我需要回忆之前提供的引用内容，看看有没有相关的步骤。 引用[2]提到在CentOS7上使用ceph-deploy工具安装和配置Ceph，包括安装ceph-deploy的步骤。引用[4]提到复制配置文件和密钥环到客户端，这可能涉及集群节点的配置。引用[3]展示了编译和运行Java客户端，但用户目前可能不需要这部分，重点在部署集群。 用户需要的是从零开始的步骤，可能包括环境准备、安装工具、配置节点、部署集群等。需要确保步骤适用于CentOS 7.9，注意可能的依赖和版本问题。此外，引用中的命令可能需要调整，比如节点名称和网络配置。 还要考虑用户可能的后续问题，比如常见错误处理、性能优化或验证集群状态的方法。需要分步骤详细说明，确保用户能逐步操作，同时注意命令的正确性和权限问题，比如密钥环的权限设置。最后，生成相关问题帮助用户深入理解部署过程。</think>### CentOS 7.9 部署 Ceph 集群的步骤 #### 1. 环境准备 - **节点规划**：至少需要1个管理节点（如 `ceph-admin`）和多个存储节点（如 `ceph-node1`、`ceph-node2`）。所有节点需配置SSH免密登录。 - **系统要求**： - CentOS 7.9 系统，关闭 SELinux 和防火墙： ```bash sudo setenforce 0 sudo systemctl stop firewalld sudo systemctl disable firewalld ``` - 同步所有节点时间（使用 NTP 或 Chrony）[^2]。 #### 2. 安装 Ceph 部署工具 在管理节点安装 `ceph-deploy`： ```bash sudo yum install -y epel-release sudo yum install -y ceph-deploy python-pip ``` #### 3. 初始化集群配置 在管理节点创建工作目录并初始化集群： ```bash mkdir ceph-cluster && cd ceph-cluster ceph-deploy new ceph-node1 ceph-node2 # 指定初始监控节点 ``` 编辑生成的 `ceph.conf` 文件，添加公共网络配置： ```ini public network = 192.168.1.0/24 ``` #### 4. 安装 Ceph 组件 在所有节点安装 Ceph 基础包： ```bash ceph-deploy install --release nautilus ceph-admin ceph-node1 ceph-node2 ``` > 注：若使用较新版本，需替换 `nautilus` 为对应版本号。 #### 5. 部署监控节点 在指定节点部署监控服务： ```bash ceph-deploy mon create-initial ceph-deploy admin ceph-admin ceph-node1 ceph-node2 # 分发配置文件[^4] ``` #### 6. 添加 OSD 存储 为每个存储节点分配磁盘（如 `/dev/sdb`）并创建 OSD： ```bash ceph-deploy osd create ceph-node1 --data /dev/sdb ceph-deploy osd create ceph-node2 --data /dev/sdb ``` #### 7. 部署 MDS（可选） 若需使用 CephFS，需部署元数据服务： ```bash ceph-deploy mds create ceph-node1 ``` #### 8. 验证集群状态 ```bash ssh ceph-node1 sudo ceph -s ``` 正常状态应显示 `HEALTH_OK`，且 OSD 数量与配置一致[^1]。 #### 9. 挂载 CephFS（示例） 客户端节点挂载文件系统： ```bash sudo mount -t ceph ceph-node1:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/ceph.client.admin.keyring ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值