为ceph开启CephFS挂载

本文详细介绍了一种基于CentOS 7.5的Ceph集群(版本10.2.10)部署流程,包括环境配置、集群状态确认、元数据服务检查与创建、cephfs文件系统的建立及挂载步骤,并提供了可能遇到的错误及其解决方案。

环境信息

  • OS –> CentOS7.5-1804
  • Ceph –> 10.2.10

安装前确定集群状态是正常的

ceph -s
    cluster 3445bd7a-55d1-4b0c-9ba6-5b16a29f6dad
     health HEALTH_OK
     monmap e1: 5 mons at {ceph-1=192.168.1.51:6789/0,ceph-2=192.168.1.52:6789/0,ceph-3=192.168.1.53:6789/0,ceph-4=192.168.1.54:6789/0,ceph-5=192.168.1.55:6789/0}
            election epoch 10, quorum 0,1,2,3,4 ceph-1,ceph-2,ceph-3,ceph-4,ceph-5
      fsmap e7: 1/1/1 up {0=ceph-1=up:active}, 2 up:standby
     osdmap e141: 10 osds: 10 up, 10 in
            flags sortbitwise,require_jewel_osds
      pgmap v357: 320 pgs, 4 pools, 2558 bytes data, 20 objects
            51552 MB used, 249 GB / 299 GB avail
                 320 active+clean

检查元数据服务是否创建

ceph mds stat

如下则为正常

e7: 1/1/1 up {0=ceph-1=up:active}, 2 up:standby

全为0的话,则添加mds节点

ceph-deploy mds create ceph-1 ceph-2 ceph-3

创建cephfs文件系统

ceph osd pool create cephfs_data 64
ceph osd pool create cephfs_metadata 64
ceph fs new cephfs cephfs_metadata cephfs_data

挂载

mkdir /mnt/cephfs
mount.ceph ceph-3,ceph-2,ceph-1:/ /mnt/cephfs/ -o name=admin,secret=AQAzCfRadRzIDhAAATbRfsO6kOhqDKKPejrRnw==

secret在/etc/ceph/ceph.client.admin.keyring可以查到
验证

df -h
[root@ceph-1 ~]# df -h
Filesystem                                Size  Used Avail Use% Mounted on
/dev/mapper/centos-root                    17G  1.4G   16G   9% /
devtmpfs                                  3.9G     0  3.9G   0% /dev
tmpfs                                     3.9G     0  3.9G   0% /dev/shm
tmpfs                                     3.9G  8.7M  3.9G   1% /run
tmpfs                                     3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/vda1                                1014M  180M  835M  18% /boot
tmpfs                                     783M     0  783M   0% /run/user/0
/dev/vdb1                                  30G  5.1G   25G  17% /data/osd0
/dev/vdc1                                  30G  5.1G   25G  17% /data/osd1
192.168.1.53,192.168.1.52,192.168.1.51:/  300G   51G  250G  17% /mnt/cephfs

可能出现的错误
1.mount error 5 = Input/output error
2. mount error 22 = Invalid argument
第一个,首先先查mds服务是正常,不存在则添加
第二个,密钥不正确,检查密钥

<think>嗯,用户想要了解CephFS的配置和使用指南。从对话历史看,用户已经提供了三条关于CephFS的引用信息,其中包含了通过FUSE挂载的两种方式(内核挂载和用户空间挂载)以及基本概念。用户的需求非常明确,就是需要系统性的操作指导。用户可能是系统管理员或存储工程师,正在搭建Ceph存储集群的文件服务。考虑到CephFS的复杂性,用户应该需要具体到命令行的实操步骤,同时也要了解关键配置参数的注意事项。从ta引用的资料看,ta可能已经查阅过部分文档,但需要更系统的整合。准备在回答时重点覆盖几个核心模块:基础概念部分补充架构图会更直观,但文本回复中只能描述关键组件;部署准备要强调ceph-mds和授权问题,这是很多新手容易忽略的;内核挂载和FUSE挂载需要分场景说明,特别是生产环境推荐用内核模式;权限控制部分要包含ACL和Quota的实用技巧;最后故障排查必须包含“clientmounttimeout”这个高频问题。注意到引用[3]提到ceph集群默认开启权限校验,这一点特别重要,必须在配置步骤里单独强调。用户提供的挂载命令中有secretfile参数,说明ta可能接触过密钥管理问题,因此要解释清楚admin用户和keyring的对应关系。另外所有命令行都需要标注危险操作(比如删除操作)的警示符号。</think> 以下是CephFS的配置与使用指南,整合核心操作和注意事项: --- ### **一、基础概念** 1. **CephFS架构** - 依赖元数据服务(MDS)管理目录结构 - 数据底层通过RADOS存储 - 支持POSIX标准文件访问[^2] 2. **必要条件** - 已部署Ceph集群(MON/OSD) - 至少1个活跃的MDS守护进程 - 客户端需安装`ceph-common`或`ceph-fuse` --- ### **二、部署与配置** #### **步骤1:创建CephFS** ```bash # 创建metadata池和数据池 sudo ceph osd pool create cephfs_data 32 sudo ceph osd pool create cephfs_metadata 8 # 启用文件系统 sudo ceph fs new cephfs cephfs_metadata cephfs_data ``` #### **步骤2:验证状态** ```bash sudo ceph fs ls # 查看文件系统列表 sudo ceph mds stat # 检查MDS状态 ``` --- ### **三、客户端挂载方式** #### **方式1:内核空间挂载(推荐生产环境)** ```bash sudo mkdir /mnt/cephfs sudo mount -t ceph {MON_IP}:6789:/ /mnt/cephfs \ -o name=admin,secretfile=/etc/ceph/admin.secret ``` > 📌 注意: > - `secretfile`内容为`admin`用户的密钥(通过`ceph auth get-key client.admin`获取) > - 多个MON时可用逗号分隔IP:`192.168.1.1:6789,192.168.1.2:6789` #### **方式2:用户空间挂载(FUSE)** ```bash sudo mkdir ~/mycephfs sudo ceph-fuse -m {MON_IP}:6789 ~/mycephfs \ --keyring /etc/ceph/ceph.client.admin.keyring ``` --- ### **四、权限控制关键配置** #### 1. **多用户隔离** ```bash # 创建专用用户 ceph auth get-or-create client.user1 mon 'allow r' osd 'allow rw pool=cephfs_data' # 挂载时指定用户 mount -t ceph ... -o name=user1,secretfile=user1.secret ``` #### 2. **目录配额设置** ```bash # 限制目录容量(单位:字节) setfattr -n ceph.quota.max_bytes -v 1073741824 /mnt/cephfs/data # 限制文件数量 setfattr -n ceph.quota.max_files -v 100000 /mnt/cephfs/data ``` --- ### **五、故障排查** 1. **挂载失败:权限不足** - 检查`/etc/ceph`下keyring文件的权限是否为600 - 确认用户对存储池有读写权限:`ceph auth get client.admin` 2. **客户端卡顿** - 增加MDS缓存:`ceph tell mds.* injectargs --mds_cache_memory_limit 4294967296`(4GB) - 检查网络延迟:`ceph osd perf` 3. **Metadata池过载** - 监控MDS性能:`ceph daemon mds.{node_name} perf dump` - 拆分Metadata池(需停服) --- ### **六、生产环境建议** 1. **高可用MDS** ```bash ceph fs set cephfs max_mds 2 # 设置2个活跃MDS ceph orch apply mds cephfs --placement="node1,node2,node3" ``` 2. **定期快照** ```bash rbd snap create cephfs_metadata@$(date +%Y%m%d) ``` --- **相关问题** 1. 如何实现CephFS跨集群同步? 2. CephFS与NFS/Samba的性能对比有哪些差异? 3. 如何监控CephFS的客户端连接状态? 4. CephFS在Kubernetes中的动态存储配置方法? [^1]: CephFS挂载基础命令 [^2]: CephFS架构解析 [^3]: 权限配置与密钥管理
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值