2020 6.824 的 Raft Lab 2B

前言

做2020的MIT6.824，完成了实验Raft Lab2B，通过了测试，对于之前一个实验请参考2020 6.824 的 Raft Lab 2A

这个实验坑明显比2A多，花了大概3周时间才全部pass，其中20%时间在理解，10%时间在coding，剩下70%时间在debug，于是顺便养成看log的习惯

Lab2B 部分我也是没有做优化的，也就是这个部分的优化实现，没有conflictIndex以及conflictTerm同样也是可以通过Lab2B的Test的

下面有这个链接对我的实验测试很有帮助，主要是为了多测测试，保证没有因为概率通过而miss掉的一些测试用例

1. 并行运行测试的shellscript

##每20个test并行运行，运行100次2B的test
bash test_many.sh 100 20 2B

实验要求是不能参考别人的代码的，这个我没有完全准守，下面是我参考的链接。不过，使用别人的代码同时也给我挖了个坑，就是把别人的代码片段copy过来自己用，有时候一些边界条件特别容易忽略，所以其实看看别人的思路(框架)，再结合自己的代码自己实现，可以少采坑，当然，最好是自己重头到尾撸一遍。好了，下面是我参考的实现

1. 2017 版本的Raft
2. 2020 版本的Raft
3. C++ 版本的Raft

---

一、Raft2B

在整体框架上我还是沿用了我Raft 2A的设计，那么2B的实现主要完善了2A中的两个方法

1. AppendEntries()
2. SendHeartbeat()

同时，需要完成一些log同步相关的helper function

---

二、SendHeartbeat

2.1 框架

func (rf *Raft) SendHeartbeat() {
   
   
   for !rf.killed() {
   
   
   	...
   		for i := 0; i < len(rf.peers); i++ {
   
   
   			... 
   			args := AppendEntriesArgs{
   
   
   				...
   			}

   			go func(p int, args *AppendEntriesArgs) {
   
   
   				...
   				if reply.Success == true {
   
   
   					//成功处理
   					...
   				} else {
   
   
   					//失败处理
   					...
   				}
   			}(i, &args)
   		}
   	}()
   }
}

2.2、发送部分的AppendEntriesArgs

nextIndex := rf.nextIndex[i]
	entries := make([]LogEntry, 0)
	entries = append(entries, rf.log[nextIndex:]...)
	args := AppendEntriesArgs{
   
   
		Term:         rf.currentTerm,
		LeaderId:     rf.me,
		Entries:      entries,
		PrevLogIndex: rf.getPrevLogIndex(i),
		PrevLogTerm:  rf.getPrevLogTerm(i),
		LeaderCommit: rf.commitIndex,
}

1. AppendEntriesArgs增加了Entries, PrevLogIndex, PrevLogTerm, LeaderCommit
   • PrevLogIndex是leader对每个peer记录nextIndex的前一个，也就是nextIndex-1
   • PrevLogTerm是PrevLogIndex对应的Term
   • Entrries 是针对peer而言的，是leader给peer发送的entries，至于发什么entries，取决于leader对peer记录的nextIndex之后的log，也就是append(entries, rf.log[nextIndex:]…)
2. 前面提到的nextIndex是leader临时生成的，也就是在convertToLeader时候生成的

func (rf *Raft) convertToLeader() {
   
   
	...
	//每个节点下一次应该接收的日志的index（初始化为Leader节点最后一个日志的Index + 1）
	rf.nextIndex = make([]int, len(rf.peers))
	for i := 0; i < len(rf.peers); i++ {
   
   
		rf.nextIndex[i] = rf.getLastLogIndex() + 1
	}
	//每个节点已经复制的日志的最大的索引（初始化为0，之后递增）
	//init match index is [0 0 0]
	rf.matchIndex = make([]int, len(rf.peers))
}

2.3、接收部分的处理

2.3.1 成功处理

需要跟新nextIndex以及matchIndex, 注意nextIndex的值以及log的长度可能已经被别的线程修改了，所以对于matchIndex

rf.matchIndex[p] = args.PrevLogIndex + len(args.Entries)
rf.nextIndex[p] = rf.matchIndex[p] + 1

同时，需要查看commitIndex是否需要跟新，对应paper就是，其实就是找一个MatchIndex的中位数N，如果N更大则跟新当前MatchIndex

If there exists an N such that N > commitIndex, a majority of matchIndex[i] ≥ N, and log[N].term == currentTerm: set commitIndex = N

对应代