论文阅读:LightPool: A NVMe-oF-based High-performance and Lightweight Storage Pool Architecture for Cloud

image-20241219201411772

简介

​ 2024 年 3 月 2 日至 3 月 6 日,在英国爱丁堡举行了第30届IEEE高性能计算机体系结构国际研讨会HPCA(30th IEEE International Symposium on High-Performance Computer Architecture),HPCA是计算机体系结构领域的四大顶级会议之一。由阿里云服务器研发团队和蚂蚁数据基础设施与高可用团队合作完成的论文《LightPool: A NVMe-oF-based High-performance and Lightweight Storage Pool Architecture for Cloud-Native Distributed Database 》入选。

​ 新兴的云原生分布式数据库依靠本地NVMe SSD为众多云应用提供高性能、高可用的数据服务。然而,由于各节点内CPU和存储容量不平衡,数据库集群的本地存储利用率较低。例如,OceanBase分布式数据库集群,拥有数百PB的本地存储容量,但本地存储利用率仅为40%左右。虽然分解存储(EBS)可以通过按需独立配置CPU和存储来提高存储利用率,但它们存在性能瓶颈和高昂的成本。

​ 在本文中,作者提出了LightPool,一种高性能、轻量级的存储池架构,大规模部署在OceanBase集群中,提高存储资源利用率。 LightPool的核心思想是将集群存储聚合到存储池中并实现统一管理。

1 背景

**1.1NVMe(Non-Volatile Memory Express) && NVMe over Fabrics (NVMe-oF) **

NVMe (Non-Volatile Memory Express):一个专门为固态硬盘设计的高速传输协议。NVMe通过PCIe总线连接,支持多队列并行处理,能够大幅提升带宽和减少延迟,相较传统硬盘和SATA-SSD具有显著的性能优势。因此NVMe SSDs成为了云数据中心满足高I/O密集型应用需求的首选

NVMeover Fabrics (NVMe-oF):这是NVMe的扩展协议,用于通过网络(称为“fabric”)访问远程的NVMe设备,在远程访问场景中提供接近本地存储的高性能。NVMe-oF支持不同的网络协议(如RDMA和TCP),在云数据中心中,通常选择TCP协议因其稳定性和无需硬件支持的特点,而RDMA则适合于特殊的高性能环境

image-20241219201805773
1.2 Kubernetes

​ Kubernetes 是一个流行的容器编排系统,广泛应用于云数据中心。其主要架构包括控制平面节点和工作节点。在 Kubernetes 集群中,Pod 是最小的工作负载单元,每个 Pod 包含一个或多个运行的容器。Kubernetes 提供了一种灵活的方式来管理和分配计算资源,从而使应用程序能够根据需求自动扩展和调度。

image-20241219201919316
1.3 容器存储(Container Storage)

​ 容器存储(Container Storage)在 Kubernetes 集群中,存储提供者为 Pod 提供持久化存储,以“卷”的形式存在。常见的存储选项包括本地存储、分离式存储方案、共享存储方案。

  • 本地存储方案允许用户直接访问与同一工作节点相连的存储设备,从而实现高吞吐和低延迟。
  • 分离式存储方案通过网络访问远程的专用存储集群。OpenEBS 提供高可靠的存储,支持多数据副本,并通过 NVMe-oF 将数据副本存储到其他节点。
  • 共享存储方案是上述两种方案的结合。
六自由度机械臂ANN人工神经网络设计:正向逆向运动学求解、正向动力学控制、拉格朗日-欧拉法推导逆向动力学方程(Matlab代码实现)内容概要:本文档围绕六自由度机械臂的ANN人工神经网络设计展开,详细介绍了正向与逆向运动学求解、正向动力学控制以及基于拉格朗日-欧拉法推导逆向动力学方程的理论与Matlab代码实现过程。文档还涵盖了PINN物理信息神经网络在微分方程求解、主动噪声控制、天线分析、电动汽车调度、储能优化等多个工程与科研领域的应用案例,并提供了丰富的Matlab/Simulink仿真资源和技术支持方向,体现了其在多学科交叉仿真与优化中的综合性价值。; 适合人群:具备一定Matlab编程基础,从事机器人控制、自动化、智能制造、电力系统或相关工程领域研究的科研人员、研究生及工程师。; 使用场景及目标:①掌握六自由度机械臂的运动学与动力学建模方法;②学习人工神经网络在复杂非线性系统控制中的应用;③借助Matlab实现动力学方程推导与仿真验证;④拓展至路径规划、优化调度、信号处理等相关课题的研究与复现。; 阅读建议:建议按目录顺序系统学习,重点关注机械臂建模与神经网络控制部分的代码实现,结合提供的网盘资源进行实践操作,并参考文中列举的优化算法与仿真方法拓展自身研究思路。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值