ceph主要数据结构解析3-Ceph_fs.h文件

最新推荐文章于 2024-05-27 23:31:12 发布
最新推荐文章于 2024-05-27 23:31:12 发布
阅读量3.6k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 开源软件研究 分布式文件系统 分布式文件系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qiangweiloveforever/article/details/9992723
本文详细解析了Ceph中的关键数据结构，包括集群协议版本如OSDC、MDSC和MONC，文件布局结构如stripe_unit、stripe_count和object_size的定义与验证，以及加密算法和权限协议如CEPH_CRYPTO AES和CEPH_AUTH_CEPHX。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（1）集群内部子版本协议类型宏定义：与公共协议保持独立性，以便消息类型和协议升级受影响
#define CEPH_OSDC_PROTOCOL   24 /* server/client */OSD服务器集群与客户端协议版本
#define CEPH_MDSC_PROTOCOL   32 /* server/client */MDS与客户端
#define CEPH_MONC_PROTOCOL   15 /* server/client */监控与客户端

#define CEPH_INO_ROOT  1 //根目录节点的inode号
#define CEPH_INO_CEPH  2        /* hidden .ceph dir */隐藏目录.ceph的inode节点号

/* arbitrary limit on max # of monitors (cluster of 3 is typical) */
#define CEPH_MAX_MON   31 //最
了解本专栏 订阅专栏 解锁全文
文件系统：cephfs简介及实践
GIS摆渡人
03-30 503
Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph是一个可大规模伸缩的、开放的、软件定义的存储平台，它将Ceph存储系统的最稳定版本与Ceph管理平台、部署实用程序和支持服务相结合。也称为分布式存储系统，其出现是为了解决分布式文件系统元数据成为存储的瓶颈问题的，常规情况下元数据存储服务会成为整个存储的中心节点，而ceph利用了一致性hash计算的方式将查询变成了取膜计算的方式，将查询变成了实时运算。
【linux】海量小文件的存储方案-ceph介绍
zwan0518的专栏
05-09 1533
linux inode介绍和海量文件存储，ceph的基础架构和各存储模块的作用。
ceph学习（一）——数据结构
Byane的专栏
11-14 6273
ceph mds端的代码使用C++编写，mds端的重要数据结构： class MDS : public Dispatcher()   包括一个锁，一个定时器，一个消息句柄，客户端的连接，mds map和osd map，server对象，MDS的缓存对象，log对象，负载均衡处理对象等 class Messenger () 消息处理对象，用于mds和其他节点的通讯 class MonC
理解 OpenStack + Ceph （4）：Ceph 的基础数据结构 [Pool, Image, Snapshot, Clone]
weixin_30905133的博客
10-13 182
本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成： （1）安装和部署 （2）Ceph RBD 接口和工具 （3）Ceph 物理和逻辑结构 （4）Ceph 的基础数据结构 （5）Ceph 与 OpenStack 集成的实现 （6）QEMU-KVM 和 Ceph RBD 的 缓存机制总结 （7）Ceph 的基本操作和常见故障排除方法 （8）关于Cep...
ceph主要数据结构解析2-Rados.h文件
836811384
08-15 256
（1）文件系统id结构：16个字符组成 struct ceph_fsid { unsigned char fsid[16]; }; 以及对应的比较函数： static inline int ceph_fsid_compare(const struct ceph_fsid *a, const struct ceph_fsid *b) { return memcmp(a, b...
Cephfs的MDS侧元数据池和mdcache存储数据结构分析
HHFQ的博客
11-04 1121
每一个目录分片在元数据池中作为一个dir对象存在。通过查看元数据池中目录分片的内容，我们可以看到对应dir对象中存在的文件的dentry和inode信息，以1000000000c.09640000分片为例，如下可见dir对象中存放的items map记录管理的目录项dentry， 每一个目录或文件的dentry信息以key-value键值对的形式存在dir中。以vdb.1_1.dir为例，其父目录为testSetattr，inode号为109951163887，转成16进制为10000002B59。
ceph-ansible：Ansible手册，用于部署分布式文件系统Ceph
01-31
它支持多种数据存储模式，包括对象存储、块存储和文件系统（CephFS）。Ceph的核心特性在于其自我修复能力、高可用性和线性可扩展性，使其成为云计算、大数据和企业存储解决方案的理想选择。 **Ansible简介** ...
ceph数据分布式存储
HanYuHao11的博客
01-17 1128
了解ceph、ceph组件以及如何部署ceph和ceph集群
CentOS7-Ceph分布式存储
weixin_73705067的博客
05-27 1305
Ceph是一个开源的、统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。其中“统一”是说Ceph可以一套存储系统同时提供块设备存储、文件系统存储和对象存储三种存储功能。
linux内核源代码include/linux/fs.h中关键的和设备驱动程序有关的结构
linuxchyu的专栏
11-27 4147
struct file_operations结构位置： linux内核源代码中include目录中linux目录fs.h中 struct file_operations { struct
Linux 头文件大全（作用介绍）
木牛的博客
06-29 5768
Linux头文件目录中总共有 个.h 头文件,它们通过的方式被使用在程序中。主目录下： 13 个.h 头文件：定义了 a.out 执行文件格式和一些宏。：常数符号头文件，目前仅定义了 i 节点中 i_mode 字段的各标志位。：字符类型头文件，定义了一些有关字符类型判断和转换的宏。：错误号头文件，包含系统中各种出错号。(Linux 从 minix 中引进的)。：文件控制头文件，用于文件及其描述符的操作控制常数符号的定...
Ceph 应用（CephFS文件存储、块存储、对象存储）
A1100886的博客
07-18 2957
提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。一个up，其余两个待命，目前的工作的是node01上的mds服务。（生产环境下此进程一般需要高可用，后续介绍）
Ceph源码分析
GO语言学习
04-18 933
第1章： 1.1. Ceph设计目标： 高可用，高性能，高可扩展 1.2. 基本架构 1.2.1 Rados： 1.2.1.1 Mon: Mon Map, Osd Map, Mds Map; Paxos 1.2.1.2 对象存储： 默认4MB，ID + 数据 + 元数据 （K/V） ...
部署ceph分布式文件系统
weixin_45292713的博客
08-29 500
部署ceph分布式文件系统 1.配置ceph环境系统 2.创建ceph集群监控mon 3.创建存储设备osd 4.查看集群状态,验证 5.部署ceph文件系统 使用一台服务器作为主服务器,其他可以通过for循环来整体实现. 1.配置ceph环境系统 1).配置主机名、ip地址 2).配置yum源 vim /etc/yum.repos.d/ceph.repo 3).配置ssh无秘钥链,例如: ...
cephfs kernel client针对inode的相关操作
weixin_34358365的博客
08-12 310
2019独角兽企业重金招聘Python工程师标准>>> ...
fs库的介绍及基本用法
FU15290665767的博客
10-28 2966
模块化后，别人写好的代码功能封装起来，我们直接调用就可以实现各种功能。 js只能写浏览器相关的功能。nodejs会控制操作系统文件。 fs库： file system library，读写本地文件。内置库，nodejs解释器自带，不需额外安装直接引用。 程序首先在当前文件夹下找fs，找不到回去nodejs安装目录 去找。平时变量注意不要跟js关键字或常用库名冲突。 var fs = require...
ceph文件系统ceph-mds的作用
最新发布
06-14
### Ceph 文件系统中 ceph-mds 的具体作用及功能介绍 Ceph 是一个分布式存储系统，提供文件、块和对象存储服务。Ceph 文件系统（CephFS）是一种 POSIX 兼容的分布式文件系统，依赖于元数据服务器（Metadata Server，简称 MDS）来管理文件系统的元数据[^1]。 #### 1. ceph-mds 的核心作用 ceph-mds 是 Ceph 文件系统中的关键组件，主要负责管理和维护文件系统的元数据。元数据包括文件路径、目录结构、权限信息以及文件与对象之间的映射关系。通过将元数据与数据分离，CephFS 能够实现高效的文件访问和良好的扩展性[^2]。 #### 2. ceph-mds 的主要功能 - **元数据管理**：ceph-mds 负责存储和管理文件系统的元数据，例如文件名、目录结构、文件属性等。这些元数据存储在独立的 RADOS 对象池中，确保元数据的高可用性和一致性。 - **路径解析**：当客户端请求访问某个文件时，ceph-mds 会解析文件路径，并确定该文件对应的数据对象存储位置。这一过程使得客户端能够直接从 RADOS 中读取或写入数据，而无需每次都通过 MDS 进行数据传输[^3]。 - **负载均衡**：在多 MDS 部署的情况下，ceph-mds 可以将元数据操作分摊到多个节点上，从而提高系统的并发处理能力和性能。 - **故障恢复**：当某个 MDS 节点发生故障时，其他备用 MDS 节点可以接管其职责，确保文件系统的持续可用性。这种机制依赖于元数据的复制和同步机制[^4]。 #### 3. ceph-mds 的工作原理 ceph-mds 通过与 Ceph 集群中的其他组件（如 OSD 和 Monitor）协作，共同完成文件系统的操作。MDS 将元数据存储在专用的 RADOS 池中，并通过 Ceph 的一致性协议保证元数据的一致性和完整性。此外，MDS 还支持动态调整元数据分区（metadata partition），以适应不同规模的工作负载。 #### 4. 多 MDS 支持 Ceph 支持部署多个 MDS 实例，形成主从架构或多主架构。在这种模式下，不同的 MDS 实例可以分别负责不同的子树（subtree），从而实现元数据操作的并行化。这种设计显著提高了大规模文件系统的性能和可扩展性。 ```python # 示例：启动 ceph-mds 服务 sudo systemctl start ceph-mds@<hostname> ``` ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蔷薇理想人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值