欢迎共同参与开源内核文件系统开发项目:Lustre可靠性增强系统MTFS

Zemax操作35--双高斯镜头优化 双高斯 阅读详情

一、MTFS是什么?

 

1. MTFS(MulTi File System)是一个基于副本的可靠性增强系统。它通过维持文件的多个副本,提高分布式存储系统的可靠性。

 

2. MTFS是一个堆叠式的(stackable)文件系统,它本身不提供数据的存储能力,而直接利用下层文件系统存储数据。因此MTFS可独立于下层文件系统的具体实现,专注于副本策略的设计。MTFS支持包括本地文件系统、网络文件系统、分布式文件系统在内的多种的文件系统。现支持的文件系统包括ext2、ext3、ext4、nfs、ntfs-3g、tmpfs和Lustre。

 

3. MTFS还是一个文件系统开发的综合平台。它运用了模块化的设计思想,具有灵活的系统结构,提供了包含丰富测试用例的文件系统测试框架,不仅可以提供基于同步副本的可靠性增强机制,而且可以在此基础上实现异步副本、归档、数据缓存、名字空间统一等功能。

 

二、MTFS不是什么?

 

1. MTFS不是一个凭空构想出来的项目。事实上,MTFS项目是受现实需求的驱动才被发起的项目。其最基本和最主要的目标是解决基于Lustre文件系统的可靠性问题。熟悉Lustre的人都知道,Lustre是一个优秀的高性能分布式并发集群文件系统,然而却缺少数据冗余机制,因而面临严峻的可靠性挑战。

 

2. MTFS不是一个缺少发展空间的项目。由于MTFS不依赖于下层文件系统的具体实现,因此MTFS本身的发展不受Lustre或其他任何下层文件系统应用前景的制约。又由于基于MTFS可以实现多种功能,因而某种功能需求的退化或消失不会影响MTFS的继续发展。

 

3. MTFS不是一个尚未成型的项目。历经15个月的成长,MTFS已经拥有超过15000行代码,具备基本的框架和功能。任何有经验的开发人员都可以轻松的构建试用环境,并尝试是否能通过MTFS把内核搞垮。

 

4. MTFS不是一个没有测试的项目。事实上,到目前为止,MTFS是一个测试驱动的项目。新加入的任何子系统,都需要提供足够的测试用例。对现有系统的任何更新,都需要通过数百道回归测试的检验。

 

5. MTFS不是一个没有文档的项目。MTFS的文档受到了高度的重视。文档的编写共耗费了60天,最终形成了50余页,20000余字的开发手册。这些数字还在不断增长中。之所以在开发最关键的时期,进行文档的编写,就是为了让新加入的开发人员更快速、深入地投入到该项目中去。

 

三、如何参与MTFS项目?

 

1. 参与MTFS软件结构的设计。将MTFS的软件结构进一步模块化、层次化。

 

2. 参与MTFS新功能的设计。MTFS暂时只支持同步副本功能,可以在此基础上设计其他功能,研究新功能的现实需求、应用场景、实现方式等问题。

 

3. 为MTFS设计算法。例如,为MTFS设计可动态更新的文件名最长后缀匹配算法,或可扩展的类型枢纽匹配算法。

 

4. 为MTFS编写内核层代码。将一个系统逐渐推向成熟、稳定将是一种非常有趣的活动。

 

5. 为MTFS编写用户层管理工具。例如,为MTFS实现文件破损分支修复工具。

 

6. 强化MTFS对Lustre的支持。例如,为MTFS添加对Lustre-1.8.x的支持。

 

7. 为MTFS新添下层文件系统支持。这是一个较易上手的活动,可以用来快速地熟悉MTFS。

 

8. 为MTFS编写测试用例。找出MTFS的BUG,并编写短小精悍的回归测试用例。

 

9. 对MTFS发表任何意见、建议。

 

四、联系方式

  • http://code.google.com/p/mtfs,MTFS的项目网站,可以下载源码。
  • http://blog.youkuaiyun.com/fsdev,我的博客,整理好的文档将陆续在此发布。
  • http://qun.qq.com/#jointhegroup/gid/249858913,MTFS和存储相关讨论群。
  • http://groups.google.com/group/mtfs,MTFS的邮件链表,可在此讨论问题。(由于总是访问受限,因此使用较少)
  • http://www.multifs.com,MTFS的网站。(正在建设中)

本文章欢迎转载,请保留原始博客链接http://blog.youkuaiyun.com/fsdev/article
文件系统开发手记-第2篇 我为什么要在Lustre上做QoS QoS是Quality of Service的简写,顾名思义,就是保证服务质量。小希我经过多年的苦熬,终于将服务端QoS(NRS TBF)加入主线,同时各种对于QoS改进也在进行中,另外客户端的QoS也在测试阶段。纵观各类文件系统,QoS并不常见,因此我猜想有人会有疑问,为什么要在Lustre实现QoS呢? 实用场景对Lustre的诸多要求,首先最重要的是性能和容量。容量基本上在体系结构设计 阅读详情

相关推荐

Lustre并行文件系统建设

Lustre并行文件系统建设Author By esxu 2015/08/19项目背景介绍本次项目目的在于构建一个具有高性能、支持高并发读写、文件共享的存储系统。Lustre在HPC领域被广泛使用,本次项目建设也是在调研了其他诸多文件系统之后,最终选择Lustre文件系统作为软件部分,由于Lustre文件系统本身无数据安全机制,必须构建于稳定的磁盘阵列之上,通过硬件的稳定性来解决数据的安全性。硬件层

当你感觉累的时候,证明你正在走上坡路! 1万+

群集文件系统Lustre简介

Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。  是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美  的安全性和可管理性。  目前Lustre已经运用在一些领域,例如HP SFS产品等。     集群存储简介:    在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。

资源备忘 2039

电机控制实战:SVPWM五段式与七段式算法在STM32上的实现对比

本文深入对比了SVPWM五段式与七段式算法在STM32上的实现效果,详细分析了两种算法在占空比控制、开关损耗和波形质量等方面的差异。通过实测数据,为工程师提供了针对不同应用场景的选型建议,包括电池供电设备和高精度伺服控制系统的优化方案。

h6i7j8的博客 584

Lustre可靠性增强系统MTFS:第1篇 简介

1.1 MTFS是什么? MTFS(MulTi File System)是一个基于副本的可靠性增强系统。它通过维持文件的多个副本,提高分布式存储系统的可靠性。 MTFS是一个堆叠式的(stackable)文件系统,它本身不提供数据的存储能力,而直接利用下层文件系统存储数据。因此MTFS可独立于下层文件系统的具体实现,专注于副本策略的设计。MTFS支持包括本地文件系统、网络文件系统、分...

hududumo 361

基于STM32与HRTIM的四开关Buck-Boost双向DC-DC电源设计实战(附源码、仿真与设计解析)

本文详细介绍了基于STM32F334的HRTIM高分辨率定时器实现四开关Buck-Boost双向DC-DC电源的设计实战。通过精准的PWM控制、双环PID算法和智能模式切换逻辑,解决了电压震荡与效率优化等关键问题,并提供了完整的源码、PSIM仿真及参数计算,为高性能电源设计提供了实用参考。

7z8x2c4v6b9的博客 299

飞腾X100芯片GPU状态查询

本文档对在linux系统下查看X100芯片GPU状态信息进行说明,可以帮助大家了解芯片的实时工作状态。

乌拉大喵喵 2815

Lustre可靠性增强系统MTFS:第5篇 在Lustre文件系统中的使用

MTFS虽然适用于多种类型的下层文件系统,但是其主要目的在于为分布式文件系统提供可靠性增强方法。本文选取分布式文件系统Lustre作为下层文件系统,提出了一种使用MTFS的副本模式增强分布式存储系统可靠性的方法。 Lustre是一种基于对象的并行分布式文件系统,因其高性能和高可扩展性而被广泛应用在高性能计算领域中。Lustre采用数据与元数据分离的存储方式,将元数据存储在元数据存储目标(MD...

管子(zero)的杂乱空间 588

GD32F103RCT6/GD32F303RCT6(6.2)USART串口实战:从寄存器配置到DMA高效传输

本文详细介绍了GD32F103RCT6和GD32F303RCT6的USART串口通信实战,从寄存器配置到DMA高效传输的全过程。通过具体的代码示例和优化建议,帮助开发者快速掌握串口通信的关键技术,提升嵌入式开发效率。特别强调了DMA在高速数据传输中的优势和应用技巧。

weixin_33725239的博客 308

lustre文件系统详细介绍

总的来说,Lustre是一种功能强大的高性能并行分布式文件系统,适用于需要大规模数据处理和并行计算的各种科学和工程应用场景。

华仔的博客 1713

如何用python开发“跳一跳”游戏【附源码】

jump_start_time = pygame.time.get_ticks() # 记录跳跃开始时间。jump_duration = current_time - jump_start_time # 计算跳跃持续时间。current_time = pygame.time.get_ticks() # 获取当前时间。jump_velocity = -15 # 设置跳跃的初始速度。# 如果小球跳跃结束,重置跳跃状态。# 根据跳跃持续时间计算跳跃高度。# 移除超出屏幕的障碍物。

helloshili2011的博客 2496

uniapp [安卓苹果App端] - 详细实现PDF预览功能在线预览PDF文档,Uniapp App端实现pdf文件预览在线预览pdf二进制文件流、本地pdf文档、PDF文件地址url路径(解决白屏

uni-app,安卓Android,苹果ios,安卓app端,苹果App端,uniapp苹果安卓app,uniapp在线预览pdf功能,在安卓苹果app平台实现PDF的预览查看,uniappApp端实现pdf文件预览,UNIAPP在线预览PDF文档,Uniappapp在线预览pdf文件流,从后端接口里获取pdf文件如何转成链接预览,预览pdf的插件,uni-app的pdf预览功能,uniapp使用pdf.js插件预览pdf文件,预览pdf白屏没有报错,打开后没反应,打开是空白,加载PDF时发生错误,如

🏆 前端领域优质创作者 1万+

存储调研:Lustre并行文件系统体系结构

Lustre架构是一种集群存储体系结构,其核心组件就是Lustre文件系统。该文件系统可在Linux操作系统上运行,并提供了符合POSIX标准的UNIX文件系统接口。

渡江客涂鸦板 4762

从数字后端角度谈谈occ电路(一)

摘要:本文介绍了芯片测试中OCC(On-Chip Clock Control)电路的设计与应用。随着工艺进步,芯片制造面临Stuck-at、Bridging和Delay等故障类型,需要不同时钟频率进行测试。OCC电路通过Clock Selection、Clock Chopping Control和Clock Gating三个模块,实现ATE时钟与PLL时钟的切换控制,支持慢速时钟检测Stuck-at故障和快速时钟检测Delay故障。文章详细解析了OCC电路结构及各模块功能,包括同步单元、移位寄存器等关键组件

芯冰乐 585

从0到1:Lustre全栈Web应用开发指南

你还在为前端框架选择而纠结吗?React的复杂状态管理、Vue的模板语法限制、Angular的陡峭学习曲线是否让你望而却步?本文将带你探索一个全新选择——Lustre,这个受Elm启发的Gleam框架,如何让全栈Web开发变得简单而高效。 Lustre将函数式编程的优雅与Web平台的强大结合,提供了一种声明式、类型安全的开发方式。通过本文,你将学习如何利用Lustre构建从简单交互组件到复杂全栈...

gitblog_01002的博客 530

第23章:代码迁移——用AI将Vue2迁移到Vue3、将JS迁移到TS

> - 用AI自动将Vue2 Options API转为Vue3 Composition API的完整流程 > - 将JavaScript项目批量迁移到TypeScript,自动添加类型推导 > - 处理依赖冲突、破坏性变更和迁移后的验证方法 > - 一个完整的Vue2到Vue3迁移案例(含路由、状态管理) > - 我如何用AI将公司一个10万行代码的老项目从JS升级到TS

sfishfly的博客 208

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

MTFS文件系统

MTFS(MulTi File System)是一个基于副本的可靠性增强系统和堆叠式的(stackable)文件系统。它通过维持文件的多个副本,提高分布式存储系统的可靠性。  它本身不提供数据的存储能力,而直接利用下层文件系统存储数据;因此MTFS可不考虑下层文件系统的实现,专注于副本策略的设计。MTFS支持包括本地文件系统、网络文件系统、分布式文件系统在内的多种的件系统。现文支持的文件系统包括

燕龙安的专栏 1886

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较

MooseFS(MFS) Ceph GlusterFS Lustre Metadata server 单个MDS。存在单点故障和瓶颈。 多个MDS,不存在单点故障和瓶颈。MDS可以扩展,不存在瓶颈。 无,不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。 双MDS(互相

存储实验室 3万+

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Lustre的安装与配置

Lustre是一个分布式文件系统,由MDS(元数据服务器)、OSS(对象存储服务器)和Client(客户端)三部分组成。其中MDS和OSS都可以有多个节点,通过MGS进行管理,MGS只能有一个。 主要内容 安装环境 Lustre的安装 Lustre的配置 用于Lustre管理的实用工具 遇到的问题与解决方案 有创意的Idea 安装环境 操作系统:CentO

资源备忘 9001

深入理解Lustre文件系统-第13篇 未来的工作

Lustre文件系统是由U.S. Department of Energy(DOE)Office of Science and National Nuclear Security Administration (NNSA)Laboratories于近十之前发起并提供基金支持的,旨在满足当时和以后的超级计算平台中对于开源、高可扩展性、高性能的并行文件系统的需求。在过去十年间,在满足了不同的超级计算平...

hududumo 246

深入理解Lustre文件系统-第6篇 OST和obdfilter

/* Sigh -really, this is an OSS, the _server_, not the _target_ */ static intost_setup(struct obd_device *obd, obd_count len, void *buf) { ... } from Lustre source tree b16 如果我们正确地理解了上述注释,Lustre源码...

hududumo 362

lustre v2.3 的安装

1.安装环境安装环境:1.需要3台服务器,1台做MDS,1台做OSS,1台做CLS2.测试环境:rhel6.33.Selinux 必须disabled4.官方建议要在Client上,配置NTP服务5.在每台服务上修改/etc/hosts文件这里写了个简单的脚本内容如下:Vim hosts.sh#!/bin/bash#This script is change hostsluj...

weixin_34245082的博客 276

深入理解Lustre文件系统-第11篇 Lustre一般化文件系统封装层:fsfilt

Lustre在底层本地文件系统和Lustre之间提供了一个称为fsfilt的封装层。在上层中,obd_filter使用fsfilter层提供的一般化的函数,而fsfilter曾将这些调用传送到一个文件系统特有的实现中。这些特有的实现是特定的底层文件系统接口。fsfilt通过使用针对特定文件系统的小(tiny)封装(即对ext3使用的fsfilt和对Reiserfs3文件系统使用的fsfilt_re...

hududumo 410

分布式存储系统可靠性系列五:副本放置算法 & CopySet Replication

本文来自网易云社区作者:孙建良在分布式存储系统 中说明了,在一定情况下,copyset的数量不是越多越好,在恢复时间确定的情况下,找到合适的copyset的数量可以降低数据丢失的概率。在分布式存储系统可靠性系列文章分布式存储系统可靠性-设计模式一文中也总结道:为了提高存储系统数据可靠性,首先在系统允许的成本范围内选择合适的副本数,再次在系统设计中我们首先优先考虑加快数据恢复时间,在此基础上减小系统...

weixin_34234823的博客 438
上一篇: 深入理解Lustre文件系统-第13篇 未来的工作
下一篇: Lustre可靠性增强系统MTFS:第1篇 简介
存储李希
博客等级 码龄15年 418粉丝 69原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值