MIT6.824-2012——从零开始写一个分布式文件系统yfs

最新推荐文章于 2024-08-08 08:18:58 发布
最新推荐文章于 2024-08-08 08:18:58 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/westbrookliu/article/details/85650233
版权
本文详细介绍了MIT6.824课程中构建分布式文件系统yfs的过程，涵盖从实现锁服务器到Paxos和RSM的应用。在lab1中，重点在于设计和实现锁服务器，确保并发访问的安全。随后的实验逐步引入文件服务、锁缓存，以优化性能。最后，通过Paxos和RSM提高系统的可用性和一致性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

yfsCpp11

yfs是一个分布式文件系统

https://github.com/liu-jianhao/yfsCpp11

https://pdos.csail.mit.edu/archive/6.824-2012/labs/index.html

lab1-lab7小结

lab1：实现锁服务器

Q&A
  1. 锁服务器有什么用？
    yfs是一个分布式文件系统，客户端通过网络与服务器通信，那要怎么保证两个客户不会修改同一个文件，
    这就需要一个防止资源竞争的机制，即加锁。

在lab1中，我们可以假设每一个时刻只有一个客户，所以暂时不用考虑当一个客户申请的锁是空闲或被别的客户占用的情况。
在后续的实验会继续完善。

  1. 怎么获得锁？
    使用RPC，客户远程调用锁服务器的锁请求RPC handler。

  2. 怎么实现RPC的最多执行一次语义？
    这是lab1第二部分的重点，只要记录哪个客户持有了那个锁，哪个客户还在等待锁。

lab2&lab3：实现基本的文件服务

Q&A
最低0.47元/天 解锁文章
MIT6.824 lab1 MapReduce 思路梳理
wwxy1995的博客
12-18 538
阅读下面的内容前请自己先本地运行go代码的环境配置好，并自己最好先大致过一遍MapReduce论文和实验说明文档（文档都在课程首页可以下载到）。 环境配置提示：一种方法是把6.824目录设置为$GOPATH；另一种方法是使用module的方式——在src目录下使用go mod init example.com/src生成mod文件（网址和路径自己取，只要最后一层目录是src即可），然后把src代码中所有import ../mr替换成import 网址/src/mr。 实验目标 实现一个简易版的mapr
MIT 6.824 lab ——1.项目简介
ekxavol的博客
06-25 7146
6.824个人项目简介1 项目结构图2 项目介绍3 Raft介绍 1 项目结构图 2 项目介绍 3 Raft介绍
yfs:与-6.824-2012
05-25
另一个文件系统，MIT 6.824分布式系统课程项目，用C ++编写。
MIT 分布式系统 6.824 2012 LAB4
AresGod的专栏
06-25 3915
6.824 Lab 4: Caching locks Due: Friday, March 16th, 5:00pm Introduction In this lab you will build a lock server and client that cache locks at the client, reducing the load on the server
MIT 分布式系统 实验 yfs 6.824 2012 LAB6
AresGod的专栏
07-02 4613
实验1-5是在网络条件好的情况下，锁服务器不会坏的情况下实现。但是锁会坏 实验6、7is to implicate the fault tolerance of the lock server .If  the lock server is down ,the system of course will be down ,the lab is first to choose a lock s
MIT 6.824分布式系统
newbaby2012的专栏
12-14 539
采用Go来开发，本章做第一个Lab。
配置nginx 路径时，出现这个错误该怎么解决？[root@yfs01 nginx]# --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module -bash: --error-log-path=/var/log/nginx/error.log: 没有那个文件或目录 [root@yfs01 nginx]# --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy -bash: --http-client-body-temp-path=/var/temp/nginx/client: 没有那个文件或目录 [root@yfs01 nginx]# --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --conf-path=/usr/local/nginx/nginx.conf
06-05
这个错误是因为您在命令行中输入了配置选项，但是缺少了nginx的可执行文件路径，您需要在命令行中添加nginx的可执行文件路径，例如： ``` /usr/local/nginx/sbin/nginx --error-log-path=/var/log/nginx/error.log ...
yfs：超精简分布式对象存储
02-04
YFS采用对称式架构，没有专门的元数据管理程序，元数据和文件都分散在多个组（存储单元）。为了实现元数据的多样化一致性和分布式协调，YFS选择了 ，由于Atomix不但实现了 ，而且提供了非常丰富的高层摘要。基于Raft...
配置nginx路径时出现以下错误该怎么解决 [root@yfs01 nginx]# --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module -bash: --error-log-path=/var/log/nginx/error.log: 没有那个文件或目录 [root@yfs01 nginx]# --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy -bash: --http-client-body-temp-path=/var/temp/nginx/client: 没有那个文件或目录 [root@yfs01 nginx]# --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --conf-path=/usr/local/nginx/nginx.conf
06-05
这个问题是因为您在执行配置 `./configure` 命令时，没有将配置选项和 `./configure` 命令分开。请在执行 `./configure` 命令之前将配置选项和命令分开，例如： ``` ./configure --prefix=/usr/local/nginx \ --pid...
mit6.824 lab2a 全代码
chenpeiyanbing的博客
11-04 670
看参考贴大佬们都是一两天就把lab2a做出来了，我用了两周（哭晕在厕所），知道自己菜，没想到能菜到这种程度。之前一直参考一篇简单的经验贴，有代码结构，没有锁，没有term改变，上手是很快就上手了，但是事后全是坑，调了两周，哎。，但是确实是让我对代码的整体结构有了了解。最后一天换了一篇经验贴参考，一天完事。撒花。
6.824:MIT 6.824分布式系统的实现
03-11
实施，分布式系统，2014年Spring。 分布式系统很棘手...很多角落的情况下，正确和良好的设计并不容易。 实验1：mapreduce，熟悉golang。 实验2：主/备份键/值服务，配置被更改为视图。 实验3：基于paxos和基于paxos的键/值服务。 实验4：分片的基于paxos的键/值服务。
mit-6.824：MIT 6.824：分布式系统工程（2020）
02-13
MIT 6.824：分布式系统工程 课程网站： :
MIT 6.824 lab1
李兆龙的博客
05-04 4399
引言 6.824不愧为神课，这样的教学方式才是真正做到提升学生兴趣与水平的好课啊！试问能有多少个学校的课程设计中有这样高质量的实验，对比本校的所有计算机课程，一年一个TTMS，又或者是无意义的上机敲个几百行学习语言的代码，太真实了呀。。实在是一年的实验不及人家一学期一门课的实验来的有趣，来的有用。的要怪就怪自己当初没有好好学习了。牢骚发完了，开始正题部分吧。 Introduction 这个实验的主...
6.824分布式
weixin_45045804的博客
04-19 526
例子加深理解。
MIT6.824 分布式系统课程实验笔记 Lab 1
许自己以未来
12-05 5572
MIT 6.824 是麻省理工大学的一门研究生课程——Distributed Systems，学习这门课程对于了解分布式系统的构建原理、理解分布式程序的运行、优化分布式程序的运行环境会有很大的帮助。课程内容涵盖：分布式、容错、多副本、一致性等议题，附带了 4 个大的实验 Lab 并配套了相关的测试用例，需要基于 Go 语言完成。Lab 会将课程所讲的知识进行实践、贯通，有助于加深我们的理解和记忆。
MIT6.824-Java 项目使用教程
最新发布
gitblog_00942的博客
08-08 440
MIT6.824-Java 项目使用教程 MIT6.824-Java项目地址:https://gitcode.com/gh_mirrors/mi/MIT6.824-Java 1. 项目的目录结构及介绍 MIT6.824-Java/ ├── src/ │ ├── main/ │ │ ├── java/ │ │ │ ├── com/ │ │ │ │ ├── e...
推荐开源项目：6.824 Labs 全程指南
gitblog_00062的博客
05-14 539
推荐开源项目：6.824 Labs 全程指南 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 6.824 Labs 是一个面向分布式系统学习者的开源项目，旨在帮助开发者稳定地完成 MIT 的 6.824 分布式系统课程的所有实验。这个项目不仅提供了完整的实现，还强调了代码的可读性和文档的完整性，是初学者和进阶者理想的参考资料。 2、项目技术分析 在项目中，你可以找到...
MIT6.824 分布式系统 lab1
Poundssss的博客
09-26 6656
前言之前做了MIT6.828操作系统课程，过程很痛苦，也学到了很多。不过最大的收货还是发现了非常好的学习方式——刷顶级名校的闻名课程。自然同样是麻省理工久负盛名的分布式系统课程MIT6.824就顺理成章的加入了todolist。值得议一提的是，这两门课程都是同一个实验室出品，实在是良心。我的项目地址在:github.com/T0mmyliu/distributed-system-course-MIT
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值