【MIT 6.5840/6.824】Lab汇总与论文学习笔记

原创 已于 2025-10-29 21:19:22 修改 · 置顶 · 609 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式

于 2024-07-06 09:12:51 首次发布

又来开新坑啦！6.824启动！最新课程更改为6.5840了，内容大差不差，所以我准备直接做spring2024的lab啦！搭配2021的lecture食用~学习过程大概是看paper->看lecture->写lab，看paper的过程中我会记录学习笔记，写完lab后我也会分享自己的Lab思路，但是不会直接公开源码！

Lab汇总

Lab1: MapReduce

Lab2: Key/Value Server

Lab 3: Raft

Lab 4: Fault-tolerant Key/Value Service

Lab 5: Sharded Key/Value Service

paper学习笔记

The Google File System

In Search of an Understandable Consensus Algorithm

MIT 6.5840 Lab1 - MapReduce
JehanRio's Private Blog
08-04 5546
2023年的叫做6.5840，名字改了，不过区别不大，直接用这个就行，大家还是习惯称呼他6.824。我是根据课程表来的，所以上完了前四节课就开始做实验了。下面就正式开始吧。
【MIT 6.5840/6.824】Lab1 MapReduce
juruo_c的博客
07-06 783
本文对应的Lab版本为MIT6.5840-Spring2024的Lab1本博客只提供思路，不会公开任何代码本lab耗时约6h，码量约500行。
探索分布式系统之MIT 6.824/6.584: 分布式系统课程资料与实践
gitblog_00063的博客
04-24 536
探索分布式系统之MIT 6.824/6.584: 分布式系统课程资料与实践 在数字化时代，分布式系统的概念已经渗透到我们的日常生活和工作中，从搜索引擎、云存储到物联网平台，无处不在。MIT的6.824和6.584课程正是针对这一重要领域的深度研究，而此GitCode仓库则提供了这些课程的完整资料，包括讲义、阅读材料以及实践项目。让我们一起深入了解这个项目，并探索如何利用它提升自己的分布式系统知识。...
【MIT 6.5840(6.824)学习笔记】分布式系统介绍
pursuit的博客
05-14 1309
举例来说，如果一台计算机能够解决一定量的问题，那么增加第二台计算机后，系统能够以更快的速度解决相同数量的问题，或者在相同时间内处理更多的问题。这样，不同的用户可以访问不同的Web服务器，但它们需要访问相同的数据，因此所有的Web服务器都需要与后端数据库通信。因此，为了尽可能减少通信，特别是当副本相距很远时，人们会构建弱一致性系统，只需要更新最近的数据副本，并且只需要从最近的副本获取数据，并允许读取旧数据。然而，重构一个单一的数据库是困难的，尽管可以将数据库拆分为多个来提高性能，但这需要大量的工作。
MIT6.5840-Spring 2025-lab3~4 Debug 记录
最新发布
Rinai的博客
09-04 1007
6.5840 的实验部分至此完结，总体来说，lab4 写的比较烂，不推荐参考，lab3 有一个优化的点就是我的日志始终只有通过心跳才能够同步，所以效率比较低，我的建议是通过 sync.Cond 也就是通过信号来快速同步，这样可以大大提高效率。
MIT6.5840——lab1（学习笔记）
weixin_43709418的博客
06-07 598
2.Task的元数据，主要指的是Task的状态，比如Task开始时间（用来判断Task处理是否由于某些原因超时），Task的处理阶段（Waiting、Working、Done，用来判断Task是还没开始呢，还是结束了），Task的指针（为了找到这个Task），Task的状态让Task自己维护不太好，因为这样没法很方便的得到一个全局的任务处理状态，所以应该让coordinator来统一维护，这样可以有它在特殊的时间节点来判断，各个Task的当前状态，并进行相应的状态变更。
MIT 6.5840 Lab2 建议,记录和总结
qq_30927715的博客
03-19 1266
Lab2前前后后花了一个半月左右完成，拖延症比较严重。完成Lab2感觉最大的收获是学习方法和心态上的提升,之前学习都是比较浮躁，急于求成，但学习本身就是沉淀积累的过程，太过于急于求成反而会让自己焦虑浮躁,最后啥也没学到。第一次写那么长的技术文章，做完Lab2还是很有成就感的，让我能静下心来好好复习一下整个实验过程。以前一直不太理解世上无难事，只怕有心人。这句话的意思，现在才有点悟到其中的道理，只要踏踏实实的静心学习，没有什么学不会的东西。
MIT6.824(6.5840) Lab1笔记＋源码
kingsill的博客
07-22 1451
原本有可借鉴的部分mrsequential.go，多看几遍源码。
2022 Spring MIT6.824 Lab MapReduce
sun%moon
10-12 1507
2022 Spring MIT6.824 Lab MapReduce
MIT 6.5840-分布式系统 Lab2
weixin_45883188的博客
04-05 1051
如何保证只执行一次每次请求时携带一个token，用于标识请求// DoOnce 每次请求时携带// 标识本次请求// GetToken 获取本次请求的标识符server记录所有的token，对于put和append，先校验token是否存在，如果已存在，就不要再修改如何确保相同append请求的返回值一致。
mit6.5840-原6.824-分布式系统课程实验代码.zip
06-02
MIT（麻省理工学院）的6.5840/6.824课程是全球公认的分布式系统领域的顶级课程，其涵盖的实验代码是深入理解分布式系统设计与实现的宝贵资源。这个压缩包包含了实验相关的源代码、构建检查脚本以及项目管理文件，为...
Mit6.5840Lab(2024)
m0_52087081的博客
05-31 1032
Mit6.5840Lab(2024)，使用Go基于Raft共识算法实现一个高容错的分布式kv存储系统
MIT6.5840(6.824)-2023 lab2实验记录
nanguxiaosheng的博客
12-13 1313
整个lab2最终的目的是构建一个。核心是实验文档中提到的raft共识算法，用于解决分布式系统的一致性问题。具体的raft算法见论文与笔记。分布式一致性指的是在分布式系统中，无论系统内出现了什么状况，系统最终对外提供的服务结果必须是一致的，以分布式key/value存储系统为例，用户在t时刻读取key为abc的数据，得到的value是1，那么在没有进行写操作的情况下，除非系统不可用，之后对key为abc数据进行读取，得到的value一定是1。
【MIT 6.5840(6.824)学习笔记】GFS
pursuit的博客
05-28 1459
根据GFS论文的描述，客户端会选择一个在网络上最近的服务器（在Google的数据中心中，通过IP地址的差异可以判断网络位置的远近），然后将读请求发送到这个服务器。然后，如果它读取的记录与之前的记录具有相同的 ID，它就知道它们是彼此的重复项。如果服务器1（S1）先处理C1的请求，那么在它的表单里面，X先是1，之后S1看到了来自C2的请求，会将自己表单中的X覆盖成2。但是，如果S2恰好以不同的顺序收到客户端请求，那么S2会先执行C2的请求，将X设置为2，之后收到C1的请求，将X设置为1。
2024 MIT 6.5840-分布式系统学习记录
weixin_45883188的博客
03-17 947
课程安排2023 MIT 6.5840 分布式系统 | 环境搭建与 Lab 1 MapReduce - 知乎 (zhihu.com)
MIT6.5840 分布式系统笔记
laiyuhua120的博客
09-30 335
是一种计算机程序设计领域的优化策略。其核心思想是，如果有多个调用者（callers）同时请求相同资源（如内存或磁盘上的数据存储），他们会共同获取相同的指针指向相同的资源，直到某个调用者试图修改资源的内容时，系统才会真正复制一份专用副本（private copy）给该调用者，而其他调用者所见到的最初的资源仍然保持不变。这过程对其他的调用者都是透明的。此作法主要的优点是如果调用者没有修改该资源，就不会有副本（private copy）被创建，因此多个调用者只是读取操作时可以共享同一份资源。
【MIT 6.5840(6.824)学习笔记】使用Go进行线程和RPC编程
pursuit的博客
05-15 1191
远程过程调用（RPC）是分布式系统中的关键技术之一，它使得客户端和服务器之间的通信变得简单而直观。在分布式系统中，不同的节点可能分布在不同的物理机器上，RPC允许这些节点之间进行远程通信，就像调用本地函数一样，无需了解底层的网络协议细节。RPC的目标是实现易于编程的客户端/服务器通信，它隐藏了底层网络通信的复杂性，为开发人员提供了简单的接口。通过RPC，开发人员可以专注于业务逻辑的实现，而无需担心网络通信的细节。
MIT6.5840（6.824）Lab2总结（Raft）
m0_52566365的博客
03-09 1560
本文总结了MIT6.5840 Lab2（Raft算法）的实现经验与踩坑记录。Raft算法通过日志复制和选举机制实现分布式系统的一致性，核心包含Leader选举、日志复制两大功能模块。作者详细分析了算法流程、状态转换和定时器机制，并分享了实践中的五个关键问题：1）间断加锁导致的线程安全问题；2）索引0日志的抽象含义；3）选举定时器重置的三种正确时机；4）心跳与日志的关系处理；5）日志回退加速优化的实现方法。文章特别强调了阅读官方避坑指南的重要性，并指出多线程编程中条件判断的"冗余"必要性。
MIT6.5840-2023-Lab1: MapReduce
gongyuandaye的博客
12-06 1280
MapReduce：Master 将一个 Map 任务或 Reduce 任务分配给一个空闲的 worker。：被分配了 map 任务的 worker 程序读取相关的输入数据片段，生成并输出中间 k/v 对，并缓存在内存中。：所有 map 任务结束，reduce 程序使用 RPC 从 map worker 所在主机的磁盘上读取缓存数据，通过对 key 进行排序后使得具有相同 key 值的数据聚合在一起，reduce 进行操作后输出为文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值