librados 简单介绍

最新推荐文章于 2024-08-20 06:30:00 发布
转载 最新推荐文章于 2024-08-20 06:30:00 发布 · 316 阅读 · 0

本文阐述了Ceph客户端如何通过librados直接与OSD交互进行数据存储和读取的过程。客户端应用调用librados连接CephMonitor，获取Clustermap后，通过I/O上下文绑定pool，提供Object名字，计算PG和OSD位置，实现数据的读写操作，无需了解集群拓扑。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一个Ceph客户端，通过librados直接与OSD交互，来存储和取出数据。为了与OSD交互，客户端应用必须直接调用librados，连接一个Ceph Monitor。一旦连接好以后，librados会从Monitor处取回一个Clustermap。当客户端的应用想读或者取数据的时候，它会创建一个I/O上下文并且与一个pool绑定。通过这个I/O上下文，客户端将Object的名字提供给librados，然后librados会根据Object的名字和Cluster map计算出相应的PG和OSD的位置。然后客户端就可以读或者写数据。客户端的应用无需知道这个集群的拓扑结构。

出处：https://blog.youkuaiyun.com/u014236541/article/details/79959910?utm_source=copy 
 

Ceph学习——Librados与Osdc实现源码解析
SEU_PAN的博客
12-04 8676
本文介绍Ceph客户端方面的某些模块的实现。客户端主要是实现了接口，对外提供访问的功能。上层可以通过接口来访问Ceph存储。Librados 与 Osdc 位于Ceph客户端中比较底层的位置，Librados 提供了Pool的创建、删除、对象的创建、删除等基本接口；Osdc则用于封装操作，计算对象的地址，发送请求和处理超时。
Ceph基础知识简单介绍-2
涛子GE哥的博客
05-22 2113
Ceph对象存储Ceph是一个分布式对象存储系统，通过它的对象网关（object gateway），也就是RADOS网关（radosgw）提供对象存储接口。RADOS网关利用librgw（RADOS网关库）和librgw这些库，允许应用程序根ceph对象建立连接。Ceph通过RESTful API提供可访问且最稳定的多租户对象存储解决方案之一。对象存储不能像文件系统的磁盘那样被操作系统直接访问，相...
librados相关介绍
ZHANGJNWEI的专栏
06-23 1189
1. librados介绍 ceph存储集群提供的基本存储服务，使ceph能够在一个联合文件系统中独一无二的实现对象存储(object storage)、块存储(block storage)以及文件存储(file storage)。然而，你并不一定需要通过RESTful API、block API或者POSIX文件系统接口才能访问ceph存储集群。依赖于RADOS，你可以直接通过librados API来访问ceph存储集群。 librados API可以访问ceph存储集群的两类守护进程： Ceph
librados的介绍与应用
weixin_33744854的博客
11-02 634
2019独角兽企业重金招聘Python工程师标准>>> ...
Ceph 源代码分析 -librados
weixin_33875839的博客
10-10 267
为什么80%的码农都做不了架构师？>>> ...
【Ceph】Ceph介绍、原理、架构
小鱼菜鸟的博客
07-22 1380
目录 理解Ceph的三种存储接口:块设备、文件系统、对象存储 干货｜非常详细的 Ceph 介绍、原理、架构 1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 1.2 Ceph特点 1.3 Ceph架构 1.4 Ceph核心组件及概念介绍 1.5 三种存储类型-块存储 1.6 三种存储类型-文件存储 1.7 三种存储类型-对象...
ceph介绍
04-11
以下是简单的Python脚本展示如何连接到Ceph集群并通过librados库创建一个新的池(pool): ```python import rados def create_pool(cluster_name='mycluster', conf_file='/etc/ceph/ceph.conf'): cluster = rados....
Ceph实战（一）-分布式存储介绍与原理架构概述
2401_84046645的博客
04-23 919
至此，文章终于到了尾声。技术能力：先写岗位所需能力，再写加分能力，不要写无关能力；项目经历：只写明星项目，描述遵循 STAR 法则；简历印象：简历遵循三大原则：清晰，简短，必要，要有的放矢，不要海投；以及最后为大家准备的福利时间：简历模板+Java面试题+热门技术系列教程视频《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！要海投；以及最后为大家准备的福利时间：简历模板+Java面试题+热门技术系列教程视频。
Fio(最新版本3.37)支持的I/O引擎介绍
nimizi_2009的博客
08-20 1085
众所周知，Fio是一款功能强大、易于上手的磁盘性能测试/评估工具被广泛使用，目前最新版本的Fio支持多达40+种I/O引擎，在哪种场景下应该使用哪种I/O引擎是使用者在使用Fio测试过程中比较容易迷茫的一个问题。I/O 引擎（Input/Output Engine）在 磁盘性能测试工具中扮演着核心角色。它负责管理数据的读写操作，以及如何与操作系统交互以执行这些操作。不同的 I/O 引擎有不同的特性和适用场景。
libradospp-devel-14.2.0-1.el7.x86_64.rpm
12-12
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
ceph源代码分析之librados：1. AioCompletion回调机制分析
hawkerou的博客
03-28 4384
Aio即Async IO，AioCompletion即Async Io Completion，也就是Async IO完成时的回调处理制作，librados设计AioCompletion就是为了提供一种机制对Aio完成时结果码的处理。而处理函数则由使用者来实现。设计librados设计了两个类：AioCompletion、AioCompletionImpl 类的关系图如下： 从上面可以看出，Aio
librados java 块存储_基于Ceph对象存储构建实践
weixin_42388716的博客
02-27 373
存储发展数据存储是人类永恒的话题和不断探索的主题绳结记事原始社会，文字未发明之前 ，人们所使用的一种记事方法，在绳子上打结记事。穿孔卡穿孔卡片是始于20世纪的主要存储方法，也是最早的机械化信息存储形式，进入20世纪60年代后，逐渐被其他存储手段取代。目前穿孔卡片已经极少使用，除非用于读出当年存储的历史数据。磁鼓存储器20世纪50年代，磁鼓作为内存储器应用于IBM 650。在后续的IBM 360/9...
php librados,librados 简介
weixin_39821874的博客
04-02 163
第二步：配置集群句柄¶A Ceph Client, via librados, interacts directly with OSDs to storeand retrieve data. To interact with OSDs, the client app must invokelibrados and connect to a Ceph Monitor. Once connected...
ceph librados librbd
xuleisdjn的专栏
03-02 3858
ceph简介Ceph 用统一的系统提供了对象、块、和文件存储功能，它可靠性高、管理简便、并且是自由软件。 Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点， Ceph 存储集群组织起了大量节点，它们之间靠相互通讯来复制数据、并动态地重分布数据。下图为应用场景示意图，其核心是RADOS，也即高可用、自动化的分布式对象存储，...
librados::IoCtxImpl::write写流程分析
slhywll的博客
04-16 331
librados::IoCtxImpl::write写流程分析
librados 处理过程
litianze99的专栏
01-12 1677
librados是ceph rados对外提供服务的原生api，本文是libradso接口调用的过程（从之前的文中摘录）。
php librados,librados接口使用
weixin_28822657的博客
04-02 299
rados作为ceph最核心的部件，它的接口库librados的作用不言而喻。本篇博客旨在通过介绍librados的接口，让 大家对rados能做哪些事儿、有哪些概念有一个清晰的了解。创建handleint err;rados_t cluster;err = rados_create(&cluster, NULL);if (err < 0) {fprintf(stderr, "%s:...
librados源码解析
最新发布
05-25
### 关于 librados 源码的详细解析与代码结构分析 `librados` 是 Ceph 的核心组件之一，提供了操作 RADOS（Reliable Autonomic Distributed Object Store）对象存储的功能。它封装了底层通信逻辑，使得开发者能够方便地与 Ceph 集群进行交互。以下是对其源码结构和功能模块的深入解析。 #### 1. 基本架构概述 `librados` 提供了两套接口：C 接口和 C++ 接口[^3]。这两种接口分别定义在 `include/librados.h` 和 `include/librados.hpp` 中，而它们的具体实现在 `librados.cc` 文件中完成。这种设计允许不同编程语言背景的开发者灵活调用。 - **C 接口**：面向低级需求的应用程序，提供简单易用的操作函数。 - **C++ 接口**：更加高级抽象，支持异步 I/O、复杂事务处理等功能。 #### 2. 核心类及其职责划分 根据现有研究材料[^2]，`librados` 的主要组成部分如下： ##### (1) RadosClient 类 作为客户端的核心部分，负责维护与集群之间的连接状态以及元数据信息。例如： - 初始化阶段建立 Monitor 和 OSD 节点间的联系； - 动态调整 PG 映射表以适应节点增减变化。 ##### (2) IoctxImpl 类 代表输入输出上下文环境，类似于传统文件描述符的概念。每个 ioctx 实例绑定到某个命名空间(pool)，并通过一系列方法暴露给外部应用层使用。 ##### (3) AioCompletionImpl 类 用于管理异步请求生命周期的对象模型。当发起一项耗时较长的任务(比如大块数据上传下载)时，可通过此类跟踪进度直至最终完成通知回调机制触发。 ##### (4) OSDC(Object Storage Daemon Client) 向上游隐藏了复杂的协议细节，向下则对接真实的物理设备驱动器。内部还涉及到了分片策略(`Striper`)的设计理念，即将单个大数据集划分为多个较小单元分散存放在不同的位置上从而提升整体吞吐量表现[^2]。 #### 3. 数据读写的转换过程 在实际运行期间，每当用户指定了一定范围内的字节流欲从中提取有用的信息或者向其中注入新的内容之前，都需要经历由高层语义表达形式转变为底层目标地址集合的过程。这一环节正是借助 `Striper::file_to_extents()` 函数来达成目的[^1]。具体而言，就是依据当前文件布局参数计算得出哪些具体的 object 成员应当被纳入考虑范畴之内，并记录下来形成所谓的 extent 列表以便后续逐一对齐访问动作得以顺利开展下去。 ```cpp // 示例伪代码展示 file_to_extents 工作原理 std::vector<Extent> extents; Striper::file_to_extents( cct, ino, // inode number of the file layout, // predefined striping configuration offset, // starting position within the logical space len, // total length to process truncate_size,// optional parameter indicating maximum size limit &extents // output container holding resulting mappings ); for(auto& ext : extents){ printf("Access [%lu,%lu]\n", ext.offset, ext.length); } ``` 以上片段清晰展现了如何利用条带化技术将连续区间分解成离散片段的形式加以表述出来，这对于理解分布式环境下高效检索模式具有重要意义。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值