zookeeper3.x源码走读-命令处理链的实现分析

概述

本文讲述zookeeper的命令处理总体流程。并讲解部分命令的实现原理。

客户端命令处理的实现的总体流程

zookeeper的命令处理是在SelectorThread中完成的，SelectorThread的实现方式可以在这篇文章：中查看。我们进入zookeeper的命令处理过程。

1. 在NIOServerCnxn类中调用readPayload()来读取来自客户端的数据。该函数会调sock.read(incomingBuffer)函数来读取数据，并根据传输协议判断本次数据是否已经被完整读取，若没有完整读取（可能是由于incomingBuffer缓冲区不够），还需要继续读取，直到完整读取客户端的数据。代码如下：

    private void readPayload() throws IOException, InterruptedException {
        ...
    	if (incomingBuffer.remaining() != 0) { // have we read length bytes?
        	int rc = sock.read(incomingBuffer); /
        ...
    }

2. 若已经读完，则会调用packetReceived对数据包的接收状态进行一个统计，接下来会调用readRequest函数对数据包进行分解，处理。该函数又会调用ZooKeeperServer.processPacket进行具体判断是那种命令类型。
3. 在ZooKeeperServer.processPacket中会判断命令的类型，进入不同的处理流程：

       if (h.getType() == OpCode.auth) {
       	// 处理认证相关请求
       	...
       } else if (h.getType() == OpCode.sasl) {
       	// 处理sasl相关请求
       	...
        } else {
        	// 一般命令处理流程
        	 cnxn.incrOutstandingRequests(h);
            Request si = new Request(cnxn, cnxn.getSessionId(), h.getXid(),
            h.getType(), incomingBuffer, cnxn.getAuthInfo());
            si.setOwner(ServerCnxn.me);
            // Always treat packet from the client as a possible
            // local request.
            setLocalSessionFlag(si);
            submitRequest(si);
            return;
        }

4. 我们主要分析一般命令的处理流程。在ZooKeeperServer.processPacket中会创建一个Request对象，为该对象设置ServerCnxn，和session的flag标识，然后调用ZooKeeperServer.submitRequest函数来处理命令。
5. submitRequest会调用firstProcessor.processRequest函数（其实是PrepRequestProcessord类的对象）来处理Request对象，该函数做的事很简单，就是把Request对象放到submittedRequests（定义：LinkedBlockingQueue submittedRequests）同步阻塞队列中。在PrepRequestProcessor类中，该函数的实现代码如下：

       public void processRequest(Request request) {
           submittedRequests.add(request);
       }

6. ZooKeeperServer对请求的处理，是按一个流水线作业进行的，处理流程大致是：
   PrepRequestProcessor -> SyncRequestProcessor -> FinalRequestProcessor

前两个流水线之间是通过对LinkedBlockingQueue这样的阻塞队列来进行连接，前一个处理过程完成后会放到阻塞队列中，供下一个处理实体进行处理。

这种流水线设计，保证各个处理过程的独立性，对处理过程进行解耦和高效。

处理链的初始化

在进入具体的请求处理流程前，需要理解zk的请求处理链的处理机制。下面我们将会讲解该处理机制：

在ZooKeeperServer启动时（何时启动，如何启动后面还有专门的文章分析）会调用runFromConfig函数，在该函数中会根据配置加载对应的Server实现类，默认是NIOServerCnxnFactory。接下来调用该实体类的startup函数对服务类进行初始化。最后调用ZooKeeperServer对象的startup方法进行初始化。在该方法中，会调用setupRequestProcessors函数来建立请求处理链，该函数的具体实现如下：

    protected void setupRequestProcessors() {
        RequestProcessor finalProcessor = new FinalRequestProcessor(this);
        RequestProcessor syncProcessor = new SyncRequestProcessor(this,
                finalProcessor);
        ((SyncRequestProcessor)syncProcessor).start();
        firstProcessor = new PrepRequestProcessor(this, syncProcessor);
        ((PrepRequestProcessor)firstProcessor).start();
    }

1. PrepRequestProcessor，SyncRequestProcessor都继承了ZooKeeperCriticalThread线程，所以在初始化时，就启动了这两个线程。
2. firstProcessor的启动后，会进入一个死循环，并从submittedRequests同步阻塞队列中获取Request对象。然后调用pRequest(request)来处理请求。
3. syncProcessor会从queuedRequests队列中获取Request对象，并把请求保存到快照文件中，必要时还需要对快照文件进行回滚；然后再调用nextProcessor.processRequest(si);也就是处理链的下一个函数对Request对象进行处理。此时将会调用FinalRequestProcessor对象：finalProcessor的processRequest函数来处理请求。

总结

本文介绍了zookeeper处理客户端命令的总体流程。介绍了zookeeper的请求处理链的代码实现。