块存储应用案例、分布式文件系统、对象存储

本文链接：https://blog.youkuaiyun.com/weixin_44221035/article/details/103678291

本文详细介绍Ceph在块存储、文件系统及对象存储的应用案例。通过实际操作，展示如何利用Ceph创建块存储镜像，部署文件系统及对象存储服务器，为用户提供全面的Ceph存储解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：块存储应用案例

1.1 问题
延续上一个的实验内容，演示块存储在KVM虚拟化中的应用案例，实现以下功能：

Ceph创建块存储镜像
客户端安装部署ceph软件
客户端部署虚拟机
客户端创建secret
设置虚拟机配置文件，调用ceph存储

1.2 方案
使用Ceph存储创建镜像。
KVM虚拟机调用Ceph镜像作为虚拟机的磁盘。

创建磁盘镜像。

[root@node1 ~]# rbd create vm1-image --image-feature  layering --size 10G
[root@node1 ~]# rbd  list
[root@node1 ~]# rbd  info  vm1-image

Ceph认证账户（仅查看即可）。
Ceph默认开启用户认证，客户端需要账户才可以访问，默认账户名称为client.admin，key是账户的密钥。
可以使用ceph auth添加新账户（案例我们使用默认账户）。

[root@node1 ~]# cat /etc/ceph/ceph.conf                    //配置文件 
[global]
mon_initial_members = node1, node2, node3
mon_host = 192.168.2.10,192.168.2.20,192.168.2.30
auth_cluster_required = cephx                                //开启认证
auth_service_required = cephx                                //开启认证
auth_client_required = cephx                                //开启认证
[root@node1 ~]# cat /etc/ceph/ceph.client.admin.keyring        //账户文件
[client.admin]
     key = AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg==

创建KVM虚拟机（注意：这里使用真实机操作！！！）。
创建2台的KVM虚拟机，或者直接使用现有的虚拟机也可以。
配置libvirt secret（注意：这里使用真实机操作！！！）。
编写账户信息文件，让KVM知道ceph的账户名称。

    [root@room9pc01 ~]# vim secret.xml              #新建临时文件，内容如下 
    <secret ephemeral='no' private='no'>
            <usage type='ceph'>
                    <name>client.admin secret</name>
            </usage>
    </secret>
    #使用XML配置文件创建secret
    [root@room9pc01 ~]# virsh secret-define secret.xml
    #命令会生成随机的UUID，这个UUID对应的有账户信息
    [root@room9pc01 ~]# virsh secret-list           #查看Secret信息

给secret绑定admin账户的密码，密码参考ceph.client.admin.keyring文件。

    [root@room9pc01] virsh secret-set-value \
    --secret 733f0fd1-e3d6-4c25-a69f-6681fc19802b \
    --base64 AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg
    #这里secret后面是前一步secret-fine创建的UUID
    #base64后面是client.admin账户的密码

虚拟机的XML配置文件。

每个虚拟机都会有一个XML配置文件，包括：虚拟机的名称、内存、CPU、磁盘、网卡等信息。

    [root@room9pc01 ~]# virsh edit  虚拟机名称
    //原始模板内容如下：
    <disk type='file' device='disk'>
          <driver name='qemu' type='qcow2'/>
          <source file='/var/lib/libvirt/images/vm1.qcow2'/>
          <target dev='vda' bus='virtio'/>
          <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
        </disk>

不推荐直接使用vim修改配置文件，推荐使用virsh edit修改配置文件，效果如下：

    [root@room9pc01] virsh edit tedu_node01                //tedu_node01为虚拟机名称
    <disk type='network' device='disk'>
          <driver name='qemu' type='raw'/>
          <auth username='admin'> 
          <secret type='ceph' uuid='733f0fd1-e3d6-4c25-a69f-6681fc19802b'/>
          </auth>
          <source protocol='rbd' name='rbd/vm1-image'>          <host name='192.168.4.11' port='6789'/>     </source>
        <target dev='vda' bus='virtio'/>
     </disk>
    
    备注：修改secret的UUID，修改source中的共享名name，修改dev设备名称。

2：Ceph文件系统

2.1 问题
延续前面的实验，实现Ceph文件系统的功能。具体实现有以下功能：

部署MDSs节点
创建Ceph文件系统
客户端挂载文件系统

2.2 方案
添加一台虚拟机，部署MDS节点。
主机的主机名及对应的IP地址如表-1所示。
表－1 主机名称及对应IP地址表
2.3 步骤
实现此案例需要按照如下步骤进行。
**添加一台新的虚拟机，要求如下：
IP地址:192.168.4.14
主机名:node4
配置yum源（包括rhel、ceph的源）
与Client主机同步时间
node1允许无密码远程node4
修改node1的/etc/hosts，并同步到所有node主机

部署元数据服务器

登陆node4，安装ceph-mds软件包

[root@node4 ~]# yum -y install ceph-mds

登陆node1部署节点操作

[root@node1 ~]# cd  /root/ceph-cluster
//该目录，是最早部署ceph集群时，创建的目录
[root@node1 ceph-cluster]# ceph-deploy mds create node4
//远程nod4，拷贝配置文件，启动mds服务

如果没有密钥和配置文件则可以通过admin命令重新发送配置和密钥（备选操作）

[root@node1 ceph-cluster]# ceph-deploy admin node4
//同步配置文件和key

创建存储池

[root@node4 ~]# ceph osd pool create cephfs_data 128
//创建存储池，对应128个PG
[root@node4 ~]# ceph osd pool create cephfs_metadata 128
//创建存储池，对应128个PG

备注：一个文件系统是由inode和block两部分组成，效果如图-1所示。

inode存储文件的描述信息（metadata元数据），block中存储真正的数据。

图-1

创建Ceph文件系统

[root@node4 ~]# ceph fs new myfs1 cephfs_metadata cephfs_data
new fs with metadata pool 2 and data pool 1
//注意，先写medadata池，再写data池
//默认，只能创建1个文件系统，多余的会报错
[root@node4 ~]# ceph fs ls
name: myfs1, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

客户端挂载

[root@client ~]# mount -t ceph 192.168.4.11:6789:/  /mnt/cephfs/ \
-o name=admin,secret=AQBTsdRapUxBKRAANXtteNUyoEmQHveb75bISg==
//注意:文件系统类型为ceph
//192.168.4.11为MON节点的IP（不是MDS节点）
//admin是用户名,secret是密钥
//密钥可以在/etc/ceph/ceph.client.admin.keyring中找到

3：创建对象存储服务器

3.1 问题
延续前面的实验，实现Ceph对象存储的功能。具体实现有以下功能：

安装部署Rados Gateway
启动RGW服务
设置RGW的前端服务与端口
客户端测试

步骤一：部署对象存储服务器

准备实验环境，要求如下：

IP地址:192.168.4.15
主机名:node5
配置yum源（包括rhel、ceph的源）
与Client主机同步时间
node1允许无密码远程node5
修改node1的/etc/hosts，并同步到所有node主机

部署RGW软件包

[root@node1 ~]# yum -y install ceph-radosgw
或者使用脚本自动安装ceph-deploy install --rgw node5.

新建网关实例

拷贝配置文件，启动一个rgw服务

[root@node1 ~]# cd /root/ceph-cluster
[root@node1 ~]# ceph-deploy rgw create node5

如果没有密钥和配置文件则可以通过admin命令重新发送配置和密钥（备选操作）

[root@node1 ceph-cluster]# ceph-deploy admin node4
//同步配置文件和key

登陆node5验证服务是否启动

[root@node5 ~]# ps aux |grep radosgw
ceph      4109  0.2  1.4 2289196 14972 ?       Ssl  22:53   0:00 /usr/bin/radosgw -f --cluster ceph --name client.rgw.node4 --setuser ceph --setgroup ceph
[root@node5 ~]# systemctl  status ceph-radosgw@\*

修改服务端口

登陆node5，RGW默认服务端口为7480，修改为8000或80更方便客户端记忆和使用

[root@node5 ~]#  vim  /etc/ceph/ceph.conf
[client.rgw.node5]
host = node5
rgw_frontends = "civetweb port=8000"
//node5为主机名
//civetweb是RGW内置的一个web服务

步骤二：客户端测试（扩展选做实验）

curl测试

[root@client ~]# curl  192.168.4.15:8000
<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>

使用第三方软件访问

登陆node5（RGW）创建账户

[root@node5 ~]#  radosgw-admin user create \
--uid="testuser" --display-name="First User"
… …
"keys": [
        {
            "user": "testuser",
            "access_key": "5E42OEGB1M95Y49IBG7B",
            "secret_key": "i8YtM8cs7QDCK3rTRopb0TTPBFJVXdEryRbeLGK6"
        }
    ],
... ...
#
[root@node5 ~]# radosgw-admin user info --uid=testuser
//testuser为用户，key是账户访问密钥

客户端安装软件

[root@client ~]#  yum install s3cmd-2.0.1-1.el7.noarch.rpm

修改软件配置（注意，除了下面设置的内容，其他提示都默认回车）

[root@client ~]#  s3cmd --configure
Access Key: 5E42OEGB1M95Y49IBG7BSecret Key: i8YtM8cs7QDCK3rTRopb0TTPBFJVXdEryRbeLGK6
S3 Endpoint [s3.amazonaws.com]: 192.168.4.15:8000
[%(bucket)s.s3.amazonaws.com]: %(bucket)s.192.168.4.15:8000
Use HTTPS protocol [Yes]: No
Test access with supplied credentials? [Y/n] n
Save settings? [y/N] y
//注意，其他提示都默认回车

创建存储数据的bucket（类似于存储数据的目录）

[root@client ~]# s3cmd ls
[root@client ~]# s3cmd mb s3://my_bucket
Bucket 's3://my_bucket/' created
[root@client ~]# s3cmd ls
2018-05-09 08:14 s3://my_bucket
[root@client ~]# s3cmd put /var/log/messages s3://my_bucket/log/
[root@client ~]# s3cmd ls s3://my_bucket
DIR s3://my_bucket/log/
[root@client ~]# s3cmd ls s3://my_bucket/log/
2018-05-09 08:19 309034 s3://my_bucket/log/messages

测试下载功能

[root@client ~]# s3cmd get s3://my_bucket/log/messages /tmp/

测试删除功能

[root@client ~]# s3cmd del s3://my_bucket/log/messages