
DAOS
文章平均质量分 70
DAOS是Intel针对未来Exascale计算和大数据HPC趋势提出的一个新的存储架构。DAOS旨在利用NVRAM和NVMe存储技术,通过一个持久内存存储模型和OS旁路技术降低字节粒度数据和元数据访问的时延,目标是将数据速度提高几个数量级,同时提供强大可伸缩性和弹性。
souy_c
这个作者很懒,什么都没留下…
展开
-
混合逻辑时钟HLC(Hybrid Logical Clocks)
计算机处理时钟的两种方式,一种是物理时钟,包括NTP协议和TrueTime都属于物理时钟,另一种是逻辑时钟,包括Lamport逻辑时钟和向量时钟。这两种时钟有各自的优缺点。物理时钟的优点在于直观,就是真实世界的时间,使用方便,缺点在于无法做到绝对精确,成本相对高一些。逻辑时钟的优点在于可以做到精确的因果关系,缺点在于节点之间需要通信,而且使用上不如物理时钟直观。原创 2022-11-13 15:16:17 · 976 阅读 · 1 评论 -
高性能网络通信框架--Mercury
Mercury是一个专门设计用于HPC系统的RPC框架,允许异步传输参数和执行请求,以及直接支持大型数据参数原创 2022-09-07 20:12:55 · 1907 阅读 · 0 评论 -
轻量级线程和任务框架---Argobots
Argobots是一个轻量级的低级线程和任务框架。原创 2022-09-07 17:33:44 · 1870 阅读 · 0 评论 -
Daos部署要求
描述部署 DAOS 系统的处理器、存储和网络要求。原创 2022-09-05 20:24:44 · 1441 阅读 · 0 评论 -
DAOS整体设计分析 (二)
DAOS 使用校验和提供端到端数据完整性,以更好地确保用户数据不会静默损坏。在写入或更新期间,DAOS 客户端库 (libdaos.so) 在通过网络传输之前计算校验和并将其附加到 RPC 消息。 根据配置,DAOS 服务器可能会或可能不会计算校验和来验证接收到的数据。原创 2022-09-05 16:49:20 · 1327 阅读 · 0 评论 -
DAOS整体设计分析 (一)
DAOS 是一种开源软件并支持横向扩展的对象存储系统,可为应用程序提供高带宽和高 IOPS 存储容器,并支持结合模拟、数据分析和机器学习的下一代以数据为中心的工作流。DAOS 完全使用新的 NVM 技术,并且非常轻量级,因为它在用户空间中运行端到端 (E2E),完全绕过操作系统。传统的存储模型需要按最小io粒度对齐,并且需要经过内核态的块设备栈。DAOS 提供了一种支持细粒度数据访问并释放下一代存储技术性能的模型。原创 2022-09-04 23:32:40 · 5011 阅读 · 0 评论 -
空间数据结构管理---RTree (下篇,代码实例)
R-树是一种流行的数据结构,用于有效地存储和查询空间对象;一个常见的用途是实现地理空间信息数据库管理系统中的索引。两个边界框查询并且支持k近邻查询。R-树是平衡的,因此最大树高保证为条目数为对数;然而,这是最坏的情况性能不能保证。相反,一些再平衡启发式方法在实践中表现良好原创 2022-09-03 23:00:49 · 813 阅读 · 0 评论 -
空间数据结构管理---RTree(上篇)
R树是一种用于处理多维数据的数据结构,用来访问二维或者更高维区域对象组成的空间数据原创 2022-09-03 22:12:16 · 5392 阅读 · 0 评论 -
存储架构颠覆者Optane持久性内存
AEP,Optane原创 2022-08-26 19:49:37 · 2696 阅读 · 0 评论