Ceph RGW远程同步（multisite）配置

最新推荐文章于 2024-09-29 17:11:40 发布
原创 最新推荐文章于 2024-09-29 17:11:40 发布 · 5.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph #rgw #远程同步 #multisite #s3

本文详细介绍了如何配置Ceph RGW的远程同步（multisite），包括设置主区域和次区域的步骤，如创建池、生成密钥、设置realm、zonegroup以及启动RGW，并提供了检查同步状态的方法。

0. preview

本文的例子基于ceph 10.2.3。
本文以一个例子来介绍如何配置RGW的远程同步(multisite)，对于其机制的研究，见http://blog.youkuaiyun.com/for_tech/article/details/68928185

1. Overview

                                      +--- master-zone      : 1 or more rgw backed by ceph cluster1
                                      +--- secondary-zone-1 : 1 or more rgw backed by ceph cluster2
        +-master-zone-group ----------+ ......
        |                             +--- secondary-zone-N : 1 or more rgw backed by ceph clusterN
        |
        |                             +--- master-zone
        |                             +--- secondary-zone-1
realm---+-secondary-zone-group-1------+ ......
        |                             +--- secondary-zone-N
        +-secondary-zone-group-2
        |
        + ......
        |
        +-secondary-zone-group-N

2. Example

In this example, I will make a simplest configuration:


            &n
最低0.47元/天 解锁文章
Ceph RGW远程同步(multisite)机制研究
for_tech的博客
03-31 6422
Ceph RGW远程同步(multisite)机制研究
【大咖专栏】如何配置CEPH RGW对象存储与公有云同步
NewTyun的博客
10-12 933
新钛云服已为您服务1280天容灾 (Disaster Recovery)，即容灾备份或灾备，是业务连续性系统的一个子集，用于保障 IT 系统在遭受自然灾害、人为操作失误或蓄意破坏后的数据还...
ceph multisite
有志者事竟成
05-07 1297
参考：multisite介绍：https://www.jianshu.com/p/31a6f8df9a8f配置：https://blog.youkuaiyun.com/for_tech/article/details/68927956论文：https://ceph.com/wp-content/uploads/2017/01/Understanding-a-Multi-Site-Ceph-Gateway-In...
趣解 ceph rgw multisite data sync 机制
06-17 1044
multisite是ceph rgw对象数据异地容灾备份的一个有效方案，笔者希望深入理解该技术，并应用于生产环境中，然而rgw的这部分代码晦涩难懂，笔者多次尝试阅读，仍云里雾里不解其意，最终流着泪咬着牙坚持多看了几遍，总结出了data sync的流程，这里以通俗易懂的形式呈现出来，希望对大家有所帮助~ 数据同步流程图 https://www.cnblogs.com/wangm...
ceph rgw multisite基本用法
weixin_34203832的博客
03-12 926
Realm： Zonegroup： 理解为数据中心，由一个或多个Zone组成，每个Realm有且仅有 一个Master Zonegroup，用于处理系统变更，其他的称为Slave Zonegroup，元数据与Master Zonegroup保持一致； Zone: Zone是一个逻辑概念，包含一个或者多个RGW实例。每个Zonegroup有且仅有一个Master Zone，用于处理bucket和us...
Ceph rgw中root及log池数据对象结构分析
梦幻之巅
07-16 2444
本来不想再写Ceph相关的文章了，最近在做ceph元数据优化研究及架构，整体思路是：将rados作为数据存储引擎，构建分布式元数据集群来管理元数据，如：将rgw或者fs相关的元数据从ceph的元数据池中抽取出来，转存到分布式元数据集群中，以此达到提升单集群处理能力的目的；要达到这个目的，有两个基础条件：1.对ceph中rgw或者fs的各CURD操作原理及IO路径非常熟悉，2.对ceph中元数据的组织及存储非常熟悉；然后才能在rgw或者mds的IO路径中进行数据及元数据的分离操作，并以合适的格式将元数据转存.
Ceph中的线程池
weixin_43977379的博客
09-29 1032
ceph中线程池的整体实现有许多的类协作完成，也有不同的实现方案，本文将以其中一种为例进行讲解。首先我们来看在multisite中用到的一处使用线程池的请求。不了解multisite运行机制的同学不必担心，这里只是通过multisite的例子引入线程池！multisite是ceph进行多集群同步的机制，保证一个主集群和一个或多个备集群有完全相同的对象，整个机制是由上面提到的协程实现的，其基础类是RGWCoroutine。
Ceph RGW Multisite 数据同步流程图
06-17 770
转载于:https://www.cnblogs.com/wangmingshuai/p/11040979.html
ceph rgw java_ceph rgw multisite基本用法
weixin_39587113的博客
03-05 310
Realm： Zonegroup： 理解为数据中心，由一个或多个Zone组成，每个Realm有且仅有 一个Master Zonegroup，用于处理系统变更，其他的称为Slave Zonegroup，元数据与Master Zonegroup保持一致；Zone: Zone是一个逻辑概念，包含一个或者多个RGW实例。每个Zonegroup有且仅有一个Master Zone，用于处理bucket和use...
CEPH的对象存储RGW更新配额的源码跟踪
06-29
利用visio软件编写的CEPH的对象存储RGW更新配额的源码跟踪，从删除和上传的动作一直跟踪到具体更新配的代码位置
Ceph 之Multisite 下的bucket reshard
weixin_30399871的博客
08-28 526
目录 一、背景和问题 二、bucket reshard 过程 主集群信息汇总 Multisite 下手动reshard References 一、背景和问题 默认情况下只有当单个bucket承载的object数量过多，导致o...
radosgw多中心同步（一）
dahlwuyn的专栏
06-23 2317
radosgw是ceph的对象存储网关，提供restfull风格的接口，兼容s3接口和swift接口。在10.2版本中，radosgw增加了一个新特性，也就是多中心同步。 所谓多中心同步，也就是不同radosgw实例之间可以自动进行同步的特性。为了便于管理，又进行了逻辑上的组织，也即realm、zonegroup、zone和radosgw。这是个从上至下的组织结构，也就是realm包括若干
搭建两个ceph集群
zrs19800702的博客
11-18 2060
搭建两个ceph集群
ceph 对象网关多区部署
xin053
05-29 2484
概念 realm realm代表了全局唯一的命名空间，这个命名空间由一个或多个zonegroup组成, 必须指定一个 zonegroup 为 master zonegroup zonegroup zonegroup包含一个或多个zone，必须指定一个zone 为master zone。rgw 多活方式是在同一zonegroup的多个zone之间进行的，即同一zonegroup中多个zone之间的数据完全一致，用户可以通过任意zone读写用一份数据。但是，对元数据的操作，比如创建桶，创建用户，仍然只能在mas
ubuntu单节点快速部署ceph集群、部署rgw业务
qq_43686329的博客
04-25 964
ubuntu单节点快速部署ceph集群、部署rgw业务
Ceph分布式存储详述
justlpf的专栏
09-07 737
Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。但是在2014年OpenStack火爆的时候、Ceph并不被很多人所接受。当时Ceph并不稳定（Ceph发布的第四个版本 Dumpling v0.67），而且架构新颖，复杂，当时人们对Ceph在生产落地如何保障数据的安全，数据的一致性存在怀疑。
CEPH J版本新特性RGW Multi-tenancy详解
oba没有马
02-07 2296
CEPH官方对RGW Multi-tenancy的介绍如下 RGW Multi-tenancy  多租户特性允许创建使用不同的存储桶和用户，前提是将其分离在不同的租户之下。例如，允许不同租户下的Swift API的用户，都可以创建形如“test”,“trove”这样很容易重复的桶名。  从Jewel版本开始，每个用户和桶都在租户之下。为了兼容性，RGW提供
ceph自定义rgw元数据查询
weixin_42340926的博客
04-06 1108
可以利用rgw对ceph中的objectd的metadata进行个性化的筛选与查询 创建默认的realm radosgw-admin realm create --rgw-realm=default --default realm的作用：相当于是一块领土。 一个realm代表了全局唯一的命名空间，这个命名空间由一个或者多个zonegroup，zonegroup可以包含一个或多个zone，zone包含了桶，桶里包依次存放了对象 将默认的zonegroup关联至realm radosgw-admin z
ceph rgw
最新发布
11-20
### Ceph RGW 简介 Ceph RGW（Ceph Object Gateway）是 Ceph 存储系统中的对象网关服务，它提供了与 Amazon S3 和 OpenStack Swift 兼容的接口，允许用户通过熟悉的 API 来访问 Ceph 存储集群中的对象存储。这使得 Ceph 能够无缝集成到使用 S3 或 Swift 协议的现有应用程序和云环境中。 ### 功能特性 - **多协议支持**：Ceph RGW 支持 S3 和 Swift 两种广泛使用的对象存储协议，为不同需求的用户提供了灵活的选择。例如，使用 Amazon S3 API 的应用程序可以直接与 Ceph RGW 交互，而使用 OpenStack Swift 的云环境也能轻松集成 Ceph 存储。 - **数据冗余与高可用性**：依托 Ceph 存储集群的强大特性，Ceph RGW 能够实现数据的多副本存储和自动数据修复。当某个存储节点出现故障时，系统会自动将数据副本复制到其他可用节点，确保数据的安全性和服务的连续性。 - **用户认证与授权**：支持多种认证方式，如 AWS 风格的访问密钥认证，可对不同用户或用户组进行细粒度的权限控制。管理员可以根据业务需求，为用户分配不同的读写权限，保护数据的安全性。 - **数据版本控制**：允许用户对存储的对象进行版本管理，方便在数据被误删除或修改时进行恢复。每个对象的不同版本都会被保存，用户可以随时访问和恢复到指定版本。 - **多租户支持**：Ceph RGW 可以在一个存储集群中为多个租户提供独立的存储服务，每个租户有自己的命名空间和权限控制，实现资源的隔离和共享。 ### 配置方法 以下是一个简单的 Ceph RGW 配置示例： 1. **安装 Ceph RGW**：在 Ceph 集群节点上安装 Ceph RGW 服务。 ```bash sudo apt-get install radosgw radosgw-agent ``` 2. **配置 Ceph RGW**：编辑 Ceph 配置文件 `/etc/ceph/ceph.conf`，添加以下内容： ```plaintext [client.rgw.gateway] host = <hostname> rgw frontends = civetweb port=8080 rgw zone = <zone-name> rgw realm = <realm-name> ``` 其中，`<hostname>` 是运行 RGW 服务的节点主机名，`port` 是 RGW 服务监听的端口号，`<zone-name>` 和 `<realm-name>` 是 RGW 区域和领域的名称。 3. **创建 RGW 用户**：使用 `radosgw-admin` 工具创建 RGW 用户，并获取访问密钥。 ```bash radosgw-admin user create --uid="testuser" --display-name="Test User" ``` 该命令将创建一个名为 `testuser` 的 RGW 用户，并返回该用户的访问密钥（Access Key 和 Secret Key）。 ### 使用指南 以下是一个使用 s3fs 挂载 Ceph RGW 存储的示例： ```bash s3fs ceph-rgw /home/s3fs -o passwd_file=~/.passwd-s3fs -o use_path_request_style -o url=http://192.168.123.172:7480 ``` 其中，`ceph-rgw` 是存储桶名称，`/home/s3fs` 是挂载点，`~/.passwd-s3fs` 是存储访问密钥的文件，`http://192.168.123.172:7480` 是 Ceph RGW 服务的 URL。 ### 相关技术信息 - **架构设计**：Ceph RGW 基于 Ceph 的 RADOS（Reliable Autonomic Distributed Object Store）层构建，通过中间件层将 S3 和 Swift 协议的请求转换为 RADOS 对象操作。这种架构使得 Ceph RGW 能够充分利用 Ceph 集群的分布式存储能力，同时提供灵活的接口。 - **性能优化**：可以通过调整 Ceph RGW 的配置参数、优化网络环境和存储硬件等方式来提高性能。例如，增加 RGW 前端的并发连接数、使用高速网络和 SSD 存储设备等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值