知本知至的博客

ceph-fs有两种两种挂载方式，根据源码里面的信息来看，一种是用户空间下的挂载方式fuse，另一种是内核空间下的mount挂载方式。整体实现参考ceph官方的ceph csi实现，这套环境是arm架构的，即ceph和k8s都是在arm上实现。node节点上的csi-cephfsplugin容器日志。附上各个部署文件的配置（按照部署执行顺序）

一些服务需要使用对象存储的sts策略，这点在云上都有现成的文档。验证可行性：搜了一下ceph文档，也支持sts策略，支持两种。外部的oidc提供和radosgw提供的鉴权来认证s3用户。python调用报错access denied参考。启用sts支持，写配置文件也行。assumeRole说明。aws的sts鉴权方式。示例，仅展示基本实现。

合作伙伴实验室的华为私有云原来使用单点的nfs做为存储设备，现有两方面考量，业务需要使用oss了，k8s集群及其他机器也需要一套可扩展的分布式文件系统。添加osd，数据data 元数据block wal日志block-wal都放在一起。初始化存储节点，也就是用来存储数据的节点，ceph集群中拥有最多osd的机器。部署ceph-mgr节点，后续将node02和node03都添加进来。节点上的硬盘需要做ceph osd的需要需要取消挂载。ceph集群添加ceph-mon服务，mon初始化。

ceph集群mon节点错误；osd报错