# 使用Rook安装Ceph#

一、ROOK介绍

Ceph 是一种高度可扩展的分布式存储解决方案，适用于块存储、对象存储和共享文件系统，经过多年的生产部署。

Rook 使 Ceph 存储系统能够使用 Kubernetes 原语在 Kubernetes 上运行。下图展示了 Ceph Rook 如何与 Kubernetes 集成：

通过在 Kubernetes 集群中运行 Ceph，Kubernetes 应用程序可以挂载由 Rook 管理的块设备和文件系统，或者可以使用 S3/Swift API 进行对象存储。Rook 操作员可自动配置存储组件并监控集群，以确保存储保持可用且正常运行。

Rook Operator 是一个简单的容器，拥有引导和监控存储集群所需的一切。操作员将启动和监控Ceph 监控 pod、Ceph OSD 守护进程以提供 RADOS 存储，以及启动和管理其他 Ceph 守护进程。操作员通过初始化 Pod 和运行服务所需的其他工件来管理池、对象存储 (S3/Swift) 和文件系统的 CRD。

操作员将监控存储守护进程以确保集群健康。Ceph mon 将在必要时启动或进行故障转移，并随着集群的增长或收缩而进行其他调整。操作员还将监视 api 服务请求的所需状态更改并应用更改。

Rook 操作员还初始化消耗存储所需的代理。Rook 会自动配置 Ceph-CSI 驱动程序以将存储安装到您的 Pod。Rook 的 Flex 驱动程序也可用，但默认情况下并未启用，并且很快就会被弃用，取而代之的是 CSI 驱动程序。

该rook/ceph映像包含管理集群所需的所有工具 - 数据路径没有变化。Rook 并不试图与 Ceph 保持完全的忠诚。许多 Ceph 概念（例如放置组和挤压图）都是隐藏的，因此您不必担心它们。相反，Rook 在物理资源、池、卷、文件系统和存储桶方面为管理员创建了更加简化的用户体验。同时，可以在需要时使用 Ceph 工具应用高级配置。

Rook是用golang实现的。Ceph 采用 C++ 实现，其中数据路径经过高度优化。我们相信这种组合可以带来两全其美的效果。

二、Rook部署

2.1准备

2.1.1先决条件

Rook 可以安装在任何现有的 Kubernetes 集群上，只要它满足最低版本并且 Rook 被授予所需的权限（更多信息请参见下文）。如果您没有 Kubernetes 集群，您可以使用Minikube、Kubeadm或CoreOS/Vagrant快速设置一个集群。

最低版本：Rook 支持Kubernetes v1.11或更高版本。如果您使用的是 K8s 1.15 或更早版本，则需要创建不同版本的 Rook CRD。

K8S集群的worker节点需要至少有一个空闲的块设备作为Ceph的OSD

2.1.2环境准备

组件名称	版本
操作系统	Kylin Linux Advanced Server V10 (Lance)
内核	Linux ky-k8s-1 4.19.90-52.22.v2207.ky10.aarch64
K8S	v1.22.8
Ceph	v15.2.13
Rook	v1.6.11

注意：安装时间同步服务，所有节点必须保证时间一致。

2.2修改yaml文件

2.2.1修改cluster.yaml

apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: rook-ceph
  namespace: rook-ceph
spec:
  cephVersion:
    image: hb-arm.test.cs/rook/ceph:v15.2.13
    allowUnsupported: false
  dataDirHostPath: /var/lib/rook
  skipUpgradeChecks: false
  continueUpgradeAfterChecksEvenIfNotHealthy: false
  waitTimeoutForHealthyOSDInMinutes: 10
  mon:
    count: 3
    allowMultiplePerNode: false
  mgr:
    count: 1
    modules:
      - name: pg_autoscaler
        enabled: true
  dashboard:
    enabled: true
    ssl: false
  monitoring:
    enabled: false
    rulesNamespace: rook-ceph
  network:
  crashCollector:
    disable: false
  cleanupPolicy:
    confirmation: ""
    sanitizeDisks:
      method: quick
      dataSource: zero
      iteration: 1
    allowUninstallWithVolumes: false
  placement:
    mon:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: ceph-mon
              operator: In
              values:
              - enabled
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      - key: ceph-mon
        operator: Exists
     
    osd:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: ceph-osd
              operator: In
              values:
              - enabled
      toleration