MIT6.824 lab3 KVRaft实验分析

最新推荐文章于 2024-03-06 15:25:38 发布
最新推荐文章于 2024-03-06 15:25:38 发布
阅读量1.3k 收藏
点赞数
分类专栏： 分布式系统 文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/super_dmz/article/details/121515820
版权
这篇博客探讨了在分布式集群环境中，kvServer如何利用Raft协议处理客户端请求。当kvServer作为leader时，它直接执行客户端的RPC请求并响应；反之，作为follower时，它接收并执行从Raft层转发的指令。博客强调了记录指令号和客户端ID以防止重复执行的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 本实验中，不同clientId的用户会向当前认为是leader的kvServer发送请求

集群中有多个kvServer，每个绑定了一个Raft

集群中的kvServer会不断执行指令更新自身状态，也因此在写代码时要对ops的来源进行区分

来源1：client认为当前kvServer是leader节点，直接发送RPC请求过来执行指令，因此kvServer根据指令更新自身状态时也需要对RPC请求进行响应。

来源2：当前kvServer不是leader节点，其获得的日志来自于Raft层分流过来的指令

此时无需对RPC响应，直接根据情况进行执行即可

另外值得注意的是，执行过程中kvServer也需要记录指令号和发起请求的客户号，以避免重复执行

MIT6.824 Lab 3: Fault-tolerant Key/Value Service (1)
bysui的博客
11-07 3112
key value
MIT 6.824分布式 LAB3：kvraft
MarksSa的博客
12-19 1560
Lab 3要求实现数据库和raft算法的结合。分别需要设计客户端和服务端，Lab3的代码的复杂性远不如Lab2，因此代码量不是很多，尽量也避免修改raft的源码，不然出了bug改起来也头疼。客户端和服务端进行连接，服务端处运行着数据库服务，服务端同样还需要运行raft算法进行共识。客户端能够向服务端发起的请求有put,append,get。当客户端需要进行指定的功能时，给服务端的发送消息，然后会将操作进行raft共识，共识结束服务端的数据库程序执行该操作。 go test -race -run 3 注意事
通过5000次测试的MIT 6.824——Lab 3
hjwvv的博客
03-02 897
通过5000次测试的MIT 6.824——Lab 3
MIT 6.824 Lab3 Fault-tolerant Key/Value Service
laiyuhua120的博客
06-27 244
MIT 6.824 Lab3 Fault-tolerant Key/Value Service 2023 spring
MIT6.824——lab3讲解
qq_41398235的博客
05-05 580
lab3B——snapshot
MIT6.824 Lab3实现与踩坑
arccosY的博客
01-20 4655
Lab3要在Lab2的Raft层之上实现一个key-value存储系统，实现数据的多副本存储，要求满足线性一致性。理论上来说，Raft只能保证共识，即保证各个节点的log是相同的，这与系统的一致性无关。系统是否满足线性一致性取决于上层应用的实现方式。对于本实验来说，要想满足线性一致性，就要求无论是读请求还是写请求，都需要在Raft层提交之后才在KVServer上执行。 Lab3并不像Lab2一样按照一篇论文来实现，需要自己设计。但其实这个系统的实现思路基本就一种，没有太多自己发挥的空间。我看了网上的其它博客
MIT 6.824分布式 LAB4A：ShardCtrler
MarksSa的博客
01-29 674
lab 4要求实现一个使用raft共识算法的分片存储系统。而在lab 4a中，我们仅需实现分片控制器的功能。lab4中的分片存储系统有多个分片，这些数据分布在众多分片上，而每个分片都对应着一个集群组，可能一个集群组负责多个分片，一个集群组内的所有服务器都会使用raft共识算法进行状态的复制。而本实验的重点为分片控制器，主要负责的工作是对集群组和分片之间关系的管理，我们仅需在/src/shardctrler文件夹中对client.go,server.go,common.go这三个文件进行修改即可。注意事项（实
mit_6.824_2021_lab3A_kvraft
一把健
11-21 1829
mit_6.824_2021_lab3A mit_6.824_2021_lab3A_kvraft lab3 系列是将此前写好的 lab2 的 raft 库加以调用，在此基础之上实现上层的状态机，即 service 层；所以，lab2 写得不好，lab3 怎么也过不去，故需要确保 lab2 基本万无一失； 但是在此基础上，还需要依靠 service 层实现线性一致性，lab3 工作量不大，但是还是需要有良好的设计 参考了网上的部分博客和思路 https://blog.csdn.net/qq_40443651
【Mit6.824】实验-Lab3- KV Service
最新发布
栗子的博客
03-06 586
lab3A需要在lab2的raft基础上封装一个应用层，完成服务端和客户端的逻辑，实现一个分布式kv数据库，实现put，get，append功能。以下Op所代表的是put，get，append操作。
mit_6.824_2021_lab4A_The_Shard_controller
一把健
12-07 586
mit_6.824_2021_lab4A_The_Shard_controller lab4 系列除了构建一个 键值存储系统，还需要将系统按键 分片(shard) 或对一组副本进行分区； 分片的策略有很多，比如：所有以 “a” 开头的键是一个分片，所有以 “b” 开头的键是一个分片，等等 为什么需要分片？从性能考虑，每个副本只处理一部分分片的 put 和 get，并且这些副本之间是支持并行操作的；因此，系统的总吞吐量和副本的数量成比例增加 shard kv 系统组成 分片键值对存储系统将由两个组件组成； 首
6.824-labs:我在MIT 6.824上的实现
03-09
6.824-labs:我在MIT 6.824上的实现
mit-6.824-labs:Go中的MIT 6.824（分布式系统）实验室
03-11
MIT 6.824分布式系统实验室 （已更新至2020年Spring课程实验室） 课程网站： : 实验1：MapReduce 实验2：筏共识算法 实验2A：筏负责人选举 实验2B：筏日志条目追加 实验2C：筏状态持久性 实验3：容错键/值服务 实验3A：不进行日志压缩的键/值服务 实验3B：具有日志压缩功能的键/值服务 实验4：分片键/值服务
MIT6.824-lab3AB-2022（万字推导思路及代码构建）
幸平的博客
06-15 4537
Mit6.824-lab3A-2022从paper到实验过程的构建。
2021MIT6.824 Lab3总结：KVRaft
ctoast的博客
11-27 801
代码地址 https://github.com/c-toast/6.824-golabs-2021 基础概念 在lab2的raft上实现分布式key-value存储服务，该服务需要具备线性性质。所谓线性性质，就是存在一个根据请求的发起时间和回应时间进行排序的请求序列，使得该序列中的读请求能读到上一个写请求后的结果。 MIT6.824 lab3 实现细节 该实验看起来难度不是很大，但做之前需要提前想清楚可能的corner case，并针对这些corner case设计相应的解决方案，才能通过lab的测试。实验
MIT6.824（lab3A-kv存储）
WOF_Spark的博客
11-25 942
枯木逢春不在茂， 年少且惜镜边人。 写在前面 今天的考试还算顺利，不过今天的我，心里也是莫名的不舒服，不舒服？不舒服就来写博客吧，3A要求基于Raft实现分布式kv server 实现过程 要求： 单个客户端，是串行的 多个客户端可以并发的发起请求 一旦有客户端读取到新值，那么其他的客户端也都应该读到该值 由于自己的LAB3的代码参考了这位老哥的代码，本文只是个人复习+学习所用，大家可直接跳转去该链接学习。 type Clerk struct { mu sync.Mutex servers []*l
MIT 6.824 Lab 3 KV Raft详细实现思路及过程
qq_43460956的博客
12-08 2466
MIT 6.824 分布式系统 2020春季课程 Lab3 KV Raft实现思路
Mit6.824-lab3a-2022
qq_41703198的博客
10-11 1500
Mit6.824-lab3a-2022
MIT 6.824 lab3 KVRaft
Miracle_ma的专栏
05-03 4075
lab3比lab2更加自由一点，主要是没有论文参照以及太多的资料可以查，而且调试难度也比较大。lab3A主要是实现基于Raft的kv server，client给server发送请求，然后server通过底层Raft来保持log的一致性，操作存储在内存中。lab3B主要是实现给内存快照，然后持久化到persister中。 我的代码：MIT6.824 lab3A client 首先是实现...
MIT 6.824 Lab3 2021 AB完成记录
qq_40443651的博客
05-24 3262
说明 这里只讲解实验完成的整体思路和问题解决方法，只有代码骨架，不填充具体逻辑。 总体方法 总体架构 我们首先要了解实现的整体架构是什么，关于这个，最好的展示就是网站中raft_diagram.pdf那张图。 一些核心的前提：KVServer(server.go) 是 State Machine， 每个KVServer对应一个Raft peer node, KVServer之间只通过Raft 服务来达成共识，不会直接交互。 根据paper Client interaction 的说明，KVServer
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值