并行文件系统近期的一些研究

在Keil下完成一个汇编程序的编写 在学习STM32的路上开始是学的C语言尚未进行对汇编进行学习,因此抽出时间来学习一下在keil下的汇编语言。 阅读详情

作者:朱赛凡



近期对并行文件系统做一些一些研究,主要阅读了GPFS、ceph论文,同时查找了一些行业使用并行文件系统的应用场景。总结如下:

1 并行文件在性能方面主要优势是通过“条带”来提高传输带宽,而相反随机小IO效率低下。

2 并行文件系统更多用在高性能计算中,这样场景一般包括:(1) 多个分析进程并行读写一个非常大文件; (2) 单个进程能够以非常大的带宽读写一个文件;(3) 方便数据在进程间共享。

3 共享磁盘架构的一个缺点是多个计算节点之间存在干扰导致高并发环境下效率低下。

4 目前并行文件系统等主要通过副本(经典是3副本)机制来解决数据存储可靠性问题,基于纠删码的目前不多(HDFS目前好像是有一个hdfs-raid版本,采用纠删码技术来解决数据可靠性)。

基于以上几点:并行文件系统不适合高并发环境,而更适合并行计算,也就是高性能计算环境。

 

一 并行文件系统随机io效率低下

1.1 理论分析

并行文件系统中每个读写,客户端都要先向元数据服务器和锁服务器进行联系,读取元信息和取得相应锁,然后根据元信息和IO位置来计算和定位和哪个存储设备进行通讯。如果每次读的IO量大,此部分开销也许可以忽略。但对随机IO,每次读取IO量很小,此时此部分开销(通讯开销和计算开销)将非常大。

例如ceph 读写流程(根据ceph论文):

1) client打开一个file时,client与某个MDS通讯,MDS通过遍历树结构来将文件名翻译成file inode, 该file inode包含一个唯一的inode number,文件所有者,大小以及其他元信息

2) 如果文件存在且被允许访问,则MDS将inode number,文件大小以及用于将文件数据映射为对象的分片策略等返回给客户端。同时MDS发布一个capacity给client,告知client允许的操作类型,目前capacity包括:read ,cacheread ,write ,write buffer.

3) 客户端根据返回信息采用一定算法来计算该文件包含对象以及对象的位置。

4 ) client在执行文件关闭操作时,将capacity返还给MDS,并更新文件的size.

 

    例如GPFS每次打开文件时都需要向锁管理服务器申请tocken

  

1.2 实际测试数据

在查找并行文件系统使用场景时,找到一篇文章。作者对并行文件系统性能进行测试。

 

测试环境:

 

小文件随机读测试结果:


      在安装了并行文件系统后,随机io性能从157下降到34。

 

作者结论:


有人曾把全文检索放在GPFS上,经过他们优化,性能也只能到本地文件系统70%。

 

1.3 其他一些相关资料

1  GPFS 官方资料

     可以看出GPFS设计初衷是提高数据读写带宽。

 

 

2 国外并行文件系统相关PPT

 

 (1) 首页

 

(1) 并行文件系统不适合数据库或者邮件服务器

二 并行文件系统适用场景和相应技术

并行文件系统更多用在高性能计算中,这样场景一般包括:(1) 多个分析进程并行读写一个非常大文件的不同部分; (2) 单个进程能够以非常大的带宽读写一个文件;(3) 方便数据在进程间共享。

在GPFS和Lustre中,为了满足多个进程可以并行读写一个文件的不同部分,这两个文件系统都提供了“范围锁”。例如:进程1 可以要求获取文件A的从[0~1kb]的锁,进程2可以要求获取文件A的[2kb~3Kb]的锁,这样通过这种细粒度锁来满足上述需求。

与之相对应的是HDFS锁粒度是整个文件,也就是一个进程在写一个文件,则其他进程无法写该文件,因此HDFS也不适合高性能计算。HDFS适合是数据密集型的场景,而高性能计算一般是计算密集型。

而redhat公司的Global File system ,锁粒度更细,粒度为每个底层块设备的每个“block”。但由于粒度太细,规模无法做大。

为满足单个进程在顺序读单个文件情况下也能实现多个设备聚合带宽,GPFS采用让多个存储设备会并行把数据读取到内存中策略实现上述需求,类似RAID通过预读机制。

 

三 共享磁盘架构的干扰问题

共享磁盘架构下的干扰问题,主要分为两类:一是顺序IO之间干扰、二是随机IO之间冲突。

顺序io之间的干扰可以简单解释如下:

非共享方案:

10个文件,放在10个盘上,每个盘一个线程读取。

共享方案:

10个文件,条带化后每个文件都被分散在10个硬盘上(例如11块盘raid5),10线程同时读该RAID。(条带化的优点是在并发度不高情况下能提高单进程单个大文件的顺序读写的速度,并且是条带化+并行读+预读)

在共享方案下,磁盘会因为同时需要应付10个读线程,因此变成了随机读。

目前这种干扰,可以通过RAID和单盘队比测试来验证。相应测试结果:

 

同时国外也有研究人员认识到该问题,并试图优化和解决这些问题,但总体还是很复杂:

 

论文1:研究HADOOP平台下,共享IO干扰.


论文2:研究如何改进和优化共享IO的干扰问题 ,大概思路是增加一个中间层来优化。

 

 

磁盘干扰

 

缓存干扰:

 

二是随机IO之间冲突。

随机IO之间冲突,导致RAID无法发挥所有硬盘的随机IO性能。这种情况下效率低下的原因,个人分析主要是虽然可能有多块盘,但是如果调度不好则存在同时在工作的盘可能只有少数几块盘。这个问题应该和数据条带化没有太大关系,而且对顺序IO也有影响,只是由于随机IO每次都比较小,影响会更严重一些。

因此在淘宝TFS的设计方案中,原始TFS采用RAID来存储,后来也是发现该问题,将RAID变成单盘,由应用层通过复制来保证数据存储安全,并且采用一个进程管理一个磁盘的模式来解决该问题。

四 存储虚拟化、纠删码、绿色存储

为解决海量存储管理问题,应该需要再仔细研究下存储虚拟化技术。但是从目前来看存储虚拟化更多的是在企业存储环境下,存储容量不是很大。(云存储采用三副本的备份来确保存储安全,但是面临的主要问题是IO速度太差,在网络上反应阿里云云服务器主要的缺点是IO性能太差,目前为解决云服务器的存储IO太差,这些大公司都打算推出基于SSD的云存储,但成本太高)

目前也在各大云存储的底层架构,在infoq上,找到一个七牛存储一个视频。从这个视频里了解了纠删码技术,同时也感觉他们底层也不是架构在一个开源或者商用并行文件系统之上。纠删码目前是云存储中一个比较热的技术。在业类目前也有提供这种解决方案,例如celversafe公司,提供私有云存储解决方案。

 

 

 

绿色存储目前也是一个热点,但是从前研究来看,互联网公司一般的方法是对部门满足以下要求的服务器采用服务器方式来降低能耗:IO到100%时,CPU利用率不高。例如CDN服务器。方法是使用低功能,性能低一些CPU。这块有能将文件存储服务器,采用该思路来减低能耗。

 

双目立体成像(一)双目图片生成点云 利用左右目图片生成点云 阅读详情

相关推荐

避坑指南:英飞凌TC3XX的MCMCAN初始化常见错误及解决方法

本文针对英飞凌TC3XX系列MCU的MCMCAN模块初始化难题,深入剖析了寄存器配置时序、总线监控模式误用、中断映射错误及Message RAM地址冲突四大常见陷阱。通过实战代码示例和诊断流程,提供了清晰的避坑指南和解决方案,帮助嵌入式开发者高效解决CAN FD通信故障,确保汽车电子与工业控制项目的稳定运行。

weixin_29193259的博客 248

GPFS & 并行文件系统

GPFS的学习总结。

YIN31415927的博客 2949

基于WebGL架构的3D可视化平台—平面图导航(一)

前言 利用CampusBuilder来搭建自己的虚拟世界过程有这样一个问题:如何快速聚焦到虚拟场景的某一位置。当然我们可以创建几个按钮对应查找我们需要去的位置(参照物)并聚焦,但是按钮并不是很炫酷也不能很好的反馈给我们一些信息。接下来我们就用平面导航图来解决这一问题。 第一步:使用CampusBuilder搭建模拟场景,CampusBuilder操作简单,分分钟就可以上手。 ...

nioooom的博客 4165

存储调研:GPFS并行文件系统原理解析

GPFS(GeneralParallelFileSystem)是IBM公司推出的行业领先的并行分布式通用并行集群文件系统,GPFS从1993开始研发,1995年投入商用(最早投入使用在多媒体处理行业,所以我们现在看到GPFS的很多目录和命令为什么都有MM[multimedia]两个字母,就是根据这个背景延续下来的)。

渡江客涂鸦板 2万+

Hypermesh联合ABAQUS—Sets的建立和编辑

打开part copy对话框在对话框的最上面位置可以输入copy后的名称,然后将最下面的Separate disconnected regions into parts(将不连续的区域分割成parts)选项的前面方框勾选上。打开abaqus软件界面,File→import→model,将file filter选为inp格式,找到要导入的有限元文件,单击OK导入文件。HyperWorks新建Set时,会在Model Browser显示,打开Create Set对话框显示详细信息。快捷键,高亮set的内容。

动力资料屋的博客 1295

从零到英雄:Spring Boot 微服务架构全攻略

在数字化转型的时代,微服务架构已成为构建可扩展、高可用系统的首选方案。本文以“从零到英雄”为主题,详细指导读者使用Spring Boot快速构建微服务帝国。从基础环境搭建入手,逐步深入到服务发现、配置管理、负载均衡、断路器、API网关、安全认证、监控与部署等核心模块。通过大量代码示例和详细解释,包括中文注释,帮助初学者和中级开发者掌握Spring Boot的核心概念和技术实践。文章强调实际操作,涵盖RESTful API开发、数据库集成、容器化部署等内容,并讨论常见问题与优化策略。无论你是Java开发者还是

一个被知识诅咒的人 2701

如何区分分布式/集群/并行文件系统?

分布式文件系统、集群文件系统、并行文件系统,这三种概念很容易混淆,实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系,其实它们之间在概念上的确有交叉重叠的地方,但是也存在显著不同之处。

刘爱贵的专栏 2万+

AD7920实战:从咪头到ADC的音频信号采集电路设计全解析(附电路图)

本文详细解析了基于AD7920 ADC芯片的音频信号采集电路设计全流程。从驻极体咪头的驱动、AD8542运放的两级增益与偏置设计,到关键的抗混叠滤波器配置,以及ADC接口的驱动缓冲与PCB布局要点,提供了完整的实战指南与电路图,帮助开发者实现高质量音频信号采集。

red88的博客 809

并行文件系统

常见的并行文件系统 l PVFS,开源 l Lustre ,开源 l Parastor,曙光商业软件 l GPFS, IBM的产品,现已开源 l GFS, Red Hat商业软件 l PFS,Intel商业软件 l GoogleFS,google商业软件,主要用于互联网应用 l HDFS,Apache开源,基于java的支持 l FastDFS,主要用于互联网应用 l ……

记事本 2899

手把手教你学Simulink——基于Simulink的PMSM MTPA + FW 全速域平滑切换策略

本文提出一种基于Simulink的PMSM全速域平滑切换控制策略,通过融合MTPA和弱磁控制(FW)实现基速附近的无冲击过渡。在过渡区采用加权融合电流给定方法,使电流超调<5%、转速波动<2%,全速域效率>90%。文章详细介绍了系统架构、核心算法及Simulink建模步骤,包括融合控制器设计、切换逻辑实现和参数优化。仿真结果表明,该方法相比传统硬切换显著改善了动态性能,并扩展了调速范围。同时提供了可直接复用的工程模板和MATLAB代码,为电机控制工程师提供了实用的全速域控制解决方案。

MHD0815的博客 81

控制算法研发工程师(博士)职位深度解析与面试指南

摘要:广东万和新电气股份有限公司招聘控制算法研发工程师(博士),工作地点佛山顺德。职位要求2026届博士学历,电子信息工程或控制科学与工程专业。主要职责包括:1)燃气热水、热泵等系统的电控软件设计与优化;2)开发PID、模糊控制、ADRC、MPC等智能算法,应用于恒温控制、变频调节等场景。重点考察算法研发能力、系统稳定性优化及嵌入式实现经验。该职位提供三年资深工程师培养计划,需具备扎实的控制理论基础和工程实践能力,能够处理非线性系统、多工况自适应等复杂控制问题。

郑伟强dev的专栏 143

近期的学习和研究计划

近期的学习和研究计划:主要是围绕xuetr的仿写来研究:但是要考试了,真TM悲剧啊~~~1.MFC的学习一直多没怎么写界面,而且C++也落下一年没看了, MFC去年暑假搞了一下,没深入了,能把界面整出来就好~~侯杰的<MFC深入浅出>,<VC++技术内幕> 2.关于内核的一些计划和资料: 1.进程和内核模块参考部分 实现进程查看,具体见xuetr,相...

a519609598的博客 178

【教程4>第4章>第20节】基于FPGA的costas环整体实现与仿真测试

Costas 环是一种用于载波同步的闭环反馈控制系统,主要应用于通信系统中的相干解调。其基本原理是通过鉴相器(Phase Detector,PD)比较接收信号与本地载波信号的相位差,将这个相位差信息经过环路滤波器(Loop Filter,LF)滤波后,去控制数控振荡器(Numerically Controlled Oscillator,NCO)的输出频率和相位,使得本地载波能够跟踪接收信号的载波,最终实现载波同步。Costas 环环路滤波器在载波同步过程中起着不可或缺的作用。

FPGA/MATLAB学习教程/源码/项目合作开发 1263

计算性能当然重要,但并行文件系统才是HPC运转的基础

每六个月发布一次的HPC 500强排行榜越来越受到业界广泛关注,尤其在近几年,连续数届荣登榜首的都是中国的HPC系统。 HPC(高性能计算)话题备受瞩目,不仅因为本土系统在业界博得好评,更重要的是高性能计算逐渐走进每个人的生活,并且发挥着不可或缺的作用。比如说金融、气象、能源、制造等行业中的很多企事业都在应用高性能计算,作为普通百姓的衣食住行,我们在刷卡...

weixin_34309435的博客 820

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

linux文件系统学习计划

最近将目标定位在文件系统的学习上,看的东西也非常多,网上也有很多好文,最重要的文件系统虽然独立,但是复杂度还是挺高。所以我先在做个简要的计划,以方便自己回溯学习。也希望各位大神可以提点一下。因为是初学,难免会有错误,不吝赐教。 当前具备知识 当前研究了FAT32文件系统,对其原理有较深的认识。 IO系统压力测试方法和状态查看—使用FIO和IOSTAT两个命令 文件系统总体框架 “硬件设备”–“I...

zhu378287521的博客 221

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

ESX VMFS文件系统浏览及修复软件

越来越多的企业开始将系统体系应用于虚拟化。随之而来的,也出现了许多基于虚拟化存储的数据灾难。如何在备份失效的前提下,从故障存储中尽最大可能的恢复数据,成了灾难急救的最后一根稻草。   近日,北亚数据恢复中心虚拟化数据恢复研究室发行了两款新软件,一款用于在Windows 平台上直接浏览和导出VMFS 文件系统上的数据,名称为Formbyte Explorer For ESX;另一款用于从

数据恢复技术研究 4758

一种日志结构文件系统的设计与实现(一)

一种日志结构文件系统的设计与实现(一)The Design and Implementation of a Log-Structured file systemMendel Rosenblum and John K.OusterhoutElectrical Engineering and Computer Sciences, Computer Scien

hoping的专栏 9407

linux文件系统dentry_基于Fuse的用户态文件系统性能优化几点建议

目前很多文件系统基于Fuse( http://fuse.sourceforge.net/ )开发,在较为深入钻研Fuse实现后,总结出开发此类文件系统时可考虑的优化方案,拿出来与大家讨论讨论,如有不准确的地方,还望大家不吝赐教。阅读本文前,我假设你对Fuse有了足够多的了解(起码知道Fuse有两个模块:Fuse Kernel 和LibFuse以及知道一个应用程序调用行为如何传递至我们自己开发的基于...

weixin_39602571的博客 434

跨存储介质文件系统

Strara:跨存储介质的文件系统 参考来源 SOSP 2017 论文Topics https://www.jianshu.com/p/128a49cebe28?utm_campaign=maleskine&amp;amp;utm_content=note&amp;amp;utm_medium=seo_notes&amp;amp;utm_source=recommendationhttps://www.jianshu....

小鸟达子的博客 1310

解析 Linux 中的 VFS 文件系统机制

点击打开链接

宁 静 以 致 远 1025

IPFS Weekly-73:IPFS近期到底发生了什么?

协议实验室 编制 IPFS原力区 编译 星际文件系统(IPFS)是一种新的超媒体分发协议,通过内容和身份进行寻址。IPFS支持创建完全分布式应用程序,它的目的是使网络更快、更安全、更开放。 以下是自上期IPFS周报以来的一些亮点;订阅英文原版: 欢迎回归IPFS周报 这里会为大家呈现最近在星际文件系统星系和更远的地方发生的事情! 01十大最近亮点 ● 宣布...

285

商鼎云|2022星际文件系统训练营活动回顾

时隔三年,星际文件系统训练营2022再次由星际文件系统社区呈现,活动于10月28日-30日在葡萄牙里斯本举行。这场为期三天的聚会展示了社区近期的进展,庆祝了社区的成长,并为规划星际文件系统的未来提供了机会。大约有550名与会人士参加了包括演讲、workshop、讨论会、技术环节和聚餐在内的各项活动。本文将报道这场聚会中大大小小的100个场次活动里的精彩环节。 星际文件系统生态现状从2019年的星际文件系统训练营之后,很多事情已然不同。协议实验室的产品和工程负责人Molly Mackinlay在其题为"星际

weixin_57995426的博客 793

ESX VMFS文件系统浏览及修复软件部分免费发布

因虚拟化技术的快速发展,越来越多的企业开始将系统体系应用于虚拟化。随之而来的,因人为原因、环境原因、设备原因等,也出现了许多基于虚拟化存储的数据灾难。如何在备份失效的前提下,从故障存储中尽最大可能的恢复数据,成了灾难急救的最后一根稻草。 近日,北亚数据恢复中心虚拟化数据恢复研...

chuange6363的博客 252

exFAT文件系统mp4素材文件变0字节的恢复方法

随着叠瓦技术(SMR)的流行单盘22TB已经成为现实,但实际使用中IO频繁的还得是垂直技术(CMR),这方面西数和希捷都有相应的产品,16TB以内价格还算合理。今天我们来说的案例就是一块西数16TB单盘使用exFAT文件系统mp4素材变成0字节的恢复方法。

CHS实验室 1356

当金融分析遇上深度智能体:基于DeepAgents的股票研究自动化实践

本文探讨了DeepAgents框架在金融分析领域的创新应用,通过自动化股票研究流程提升效率。文章详细介绍了DeepAgents的任务规划、虚拟文件系统和子智能体协作三大核心优势,并提供了构建股票分析智能体系统的实战指南,展示如何实现多维度分析和动态调整,为金融科技领域提供前沿解决方案。

sony5的博客 606

Agent近期记忆技术及落地实践整理

本文探讨了AI Agent记忆模块与Chatbot上下文的区别及实现难点。主要差异体现在:Agent服务于复杂任务而非人类对话,其记忆以动作和结果序列组织,需精确维护关键信息以确保任务连续性。文章对比了Anthropic、OpenAI等技术方案,分享了项目实践中从简单耦合到解耦设计的迭代经验。研究进展部分介绍了Mem0、A-MEM等系统化框架和Memory-R1等自动化方法,指出记忆管理是提升Agent性能的关键方向,需要在信息完整性和效率间取得平衡。

zjjtilm的博客 1228
上一篇: 用户体验设计阅读笔记
下一篇: 大数据分析技术研究报告(一)
njpjsoftdev
博客等级 码龄10年 206粉丝 31原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值