ROOK 适配华为云OBS

ROOK 适配华为云OBS

要在Rook中使用华为云OBS提供对象存储，您可以按照以下步骤进行配置：

创建华为云OBS存储桶

登录华为云控制台，进入OBS服务。

创建一个新的存储桶，选择适当的区域和存储类型。

获取访问密钥：

在华为云控制台中，生成访问密钥（Access Key ID 和 Secret Access Key），这些密钥将用于认证和访问OBS。

创建华为云CCE集群

至少需要3个节点，可以通过NAT或弹性网络连接外网

配置Rook Ceph集群：

在Kubernetes集群中部署Rook Operator和Ceph集群。可以参考Rook官方文档进行部署。
注意集群类型，不然生成不了OSD，默认是每个可用节点生成OSD
https://rook.io/docs/rook/latest/Getting-Started/quickstart/

配置Ceph对象存储：

创建一个CephObjectStore对象，配置元数据池和数据池。

在CephObjectStore配置中，指定华为云OBS作为外部存储后端。您需要提供OBS的终端节点、访问密钥和存储桶名称。

1. 创建密钥：

获取能访问obs的华为云IAM账号密钥

kubectl -n rook-ceph create secret generic obs-credentials --from-literal=accessKey=<您的访问密钥> --from-literal=secretKey=<您的秘密密钥>

2. 创建CephObjectStore对象：
   创建一个YAML文件（例如object-store.yaml），定义CephObjectStore对象。以下是一个示例配置：

apiVersion: ceph.rook.io/v1
kind: CephObjectStore
metadata:
  name: my-obs-store
  namespace: rook-ceph
spec:
  metadataPool:
    replicated:
      size: 3
  dataPool:
    erasureCoded:
      dataChunks: 2
      codingChunks: 1
  gateway:
    type: s3
    port: 80
    instances: 1
    sslCertificateRef: "obs-credentials" #第一步创建的密钥信息
    externalEndpoint: <您的OBS终端节点>
    allNodes: false

3. 使用kubectl命令创建CephObjectStore对象：

kubectl create -f object-store.yaml

验证步骤

要验证这个YAML文件是否成功执行并达到预期效果，可以按照以下步骤进行：

1. 检查资源创建状态：

   • 使用kubectl命令检查Ceph对象存储资源是否已创建。

   kubectl get CephObjectStore -n rook-ceph
   

2. 检查元数据池和数据池：

   • 使用rook-ceph-tools工具或kubectl命令检查元数据池和数据池是否已创建。

   kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l app=rook-ceph-tools -o jsonpath='{.items[0].metadata.name}') -- ceph osd pool ls detail
   

3. 检查网关服务：

   • 使用kubectl命令检查网关服务是否已创建并运行。

   kubectl get pods -n rook-ceph -l app=rook-ceph-rgw-my-obs-store
   

4. 验证外部访问：

   • 尝试通过配置的外部访问端点访问对象存储服务。

   curl http://obs.cn-south-1.myhuaweicloud.com:80
   

5. 检查日志：

   • 查看Rook Ceph Operator和网关服务的日志，确保没有错误信息。

   kubectl logs -n rook-ceph -l app=rook-ceph-operator
   kubectl logs -n rook-ceph -l app=rook-ceph-rgw-my-obs-store
   

检查正常，则Rook适配华为云成功

创建 Bucket 以及数据存储

• 定义存储类,执行以下yaml，可以命名为storageclass-bucket-delete.yaml，鉴于回收策略

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
   name: rook-ceph-bucket
# Change "rook-ceph" provisioner prefix to match the operator namespace if needed
provisioner: rook-ceph.ceph.rook.io/bucket
reclaimPolicy: Delete
parameters:
  objectStoreName: my-obs-store
  objectStoreNamespace: rook-ceph

• 创建对象桶声明（OBC）
  该yaml可命名为object-bucket-claim-delete.yaml

apiVersion: objectbucket.io/v1alpha1
kind: ObjectBucketClaim
metadata:
  name: ceph-bucket
spec:
  generateBucketName: ceph-bkt
  storageClassName: rook-ceph-bucket

使用ROOK

接下来可以使用工具来存储数据了，参考ROOK官网
https://rook.io/docs/rook/latest/Troubleshooting/ceph-toolbox/#interactive-toolbox