Spring Cloud 2.2.2 源码之六十六nacos的raft选举原理解析一

解析SpringCloud中Nacos的Raft选举机制,包括基本流程、节点状态变化、拉票与投票处理,以及如何决定领导者。

raft竞选基本流程

在这里插入图片描述

MasterElection

前面说了选举测初始化,现在已经可以选举了,最开始的时候每个结点的状态都是FOLLOWER跟随者,这里就是一个开始随机时间的等待,只要开始选举了,就会等待,直到第一个任期时间到了,重置时间,为什么要重置呢,因为如果不重置的话就一直投票啦,只有当没有leader的时候或者长时间没接受到leader心跳(只有leader才会发心跳)才要投票,所以会一定时间间隔如果没有收到leader的心跳,才可能会开始投票,只要收到了,时间又会被重置,也就不需要选举leader。只要任期时间过了就开始拉票了:

    public class MasterElection implements Runnable {
        @Override
        public void run() {
            try {
				//可以开始选举的标记
                if (!peers.isReady()) {
                    return;
                }
				//获取本地结点
                RaftPeer local = peers.local();
                local.leaderDueMs -= GlobalExecutor.TICK_PERIOD_MS;//任期-500毫秒
				//任期超时没到
                if (local.leaderDueMs > 0) {
                    return;
                }

                // 重置任期超时时间和心跳时间,准备开始拉票
                local.resetLeaderDue();
                local.resetHeartbeatDue();
				//拉票
                sendVote();
            } catch (Exception e) {
                Loggers.RAFT.warn("[RAFT] error while master election {}", e);
            }

        }

sendVote拉票

首先任期term+1,其实就是说明状态是新的,给自己头一票,然后状态设置为CANDIDATE候选者,然后把自己的信息发给其他集群结点,告诉其他结点我这次的任期状态,为谁投票。然后异步等待响应处理,决定leader

public void sendVote() {

            RaftPeer local = peers.get(NetUtils.localServer());
            Loggers.RAFT.info("leader timeout, start voting,leader: {}, term: {}",
                JSON.toJSONString(getLeader()), local.term);

            peers.reset();

            local.term.incrementAndGet();//轮次+1
            local.voteFor = local.ip;//为自己投票
            local.state = RaftPeer.State.CANDIDATE;//候选者

            Map<String, String> params = new HashMap<>(1);
            params.put("vote", JSON.toJSONString(local));
            for (final String server : peers.allServersWithoutMySelf()) {//除自己外的其他结点
                final String url = buildURL(server, API_VOTE);// /v1/ns/raft/vote
                try {
                    HttpClient.asyncHttpPost(url, null, params, new AsyncCompletionHandler<Integer>() {
                        @Override
                        public Integer onCompleted(Response response) throws Exception {
                            if (response.getStatusCode() != HttpURLConnection.HTTP_OK) {
                                Loggers.RAFT.error("NACOS-RAFT vote failed: {}, url: {}", response.getResponseBody(), url);
                                return 1;
                            }
							//解析其他结点的信息
                            RaftPeer peer = JSON.parseObject(response.getResponseBody(), RaftPeer.class);

                            Loggers.RAFT.info("received approve from peer: {}", JSON.toJSONString(peer));
                            //有成功响应
                            peers.decideLeader(peer);

                            return 0;
                        }
                    });
                } catch (Exception e) {
                    Loggers.RAFT.warn("error while sending vote to server: {}", server);
                }
            }
        }
    }

其他结点处理拉票请求

RaftController的vote

接受拉票请求,然后调用raftCore.receivedVote处理。

    @PostMapping("/vote")
    public JSONObject vote(HttpServletRequest request, HttpServletResponse response) throws Exception {

        RaftPeer peer = raftCore.receivedVote(
            JSON.parseObject(WebUtils.required(request, "vote"), RaftPeer.class));

        return JSON.parseObject(JSON.toJSONString(peer));
    }

RaftCore的receivedVote

首先注意这个方法是synchronized 修饰的,也就是同时只能一个线程来访问,先来后到,先判断任期,如果任期状态比自己小的,那还是自己状态最新,就投自己,然后返回。如果拉票的结点任期状态新,就投他,然后状态改为FOLLOWER跟随者,重新计时,同步任期状态。为什么任期状态这个时候会一样,因为初始的时候可能是0,一旦超时时间过了,就开始竞选了,任期状态+1,变为CANDIDATE候选者了呀,这样就跟拉票的任期可能一样,都是1。还有可能拉票的那个很久没同步了,突然leader挂了,但是他的状态是旧的,所以也不能选他,只能选自己。

 
    public synchronized RaftPeer receivedVote(RaftPeer remote) {
        if (!peers.contains(remote)) {//不存在
            throw new IllegalStateException("can not find peer: " + remote.ip);
        }
        //本机RaftPeer
        RaftPeer local = peers.get(NetUtils.localServer());
        if (remote.term.get() <= local.term.get()) {//任期数少于自己的
            String msg = "received illegitimate vote" +
                ", voter-term:" + remote.term + ", votee-term:" + local.term;

            Loggers.RAFT.info(msg);
            if (StringUtils.isEmpty(local.voteFor)) {
                local.voteFor = local.ip;//没投过的话投自己
            }

            return local;
        }
        //设置任期到期时间,重新选举计时
        local.resetLeaderDue();
        //作为跟随者
        local.state = RaftPeer.State.FOLLOWER;
        local.voteFor = remote.ip;//投发来的结点
        local.term.set(remote.term.get());//同步term

        Loggers.RAFT.info("vote {} as leader, term: {}", remote.ip, remote.term);

        return local;
    }

接受投票后决定leader

RaftCore的decideLeader

拉票有结果返回后,就会开始决定leader,将投票者的信息更新进集群,然后遍历所有投票者,统计最多的候选人,如果票数过半就选为leader,并改变器状态,如果是本机的话还要进行LeaderElectFinishedEvent事件通知。

 public RaftPeer decideLeader(RaftPeer candidate) {
        peers.put(candidate.ip, candidate);//放入结果RaftPeer

        SortedBag ips = new TreeBag();
        int maxApproveCount = 0;
        String maxApprovePeer = null;
        for (RaftPeer peer : peers.values()) {
            if (StringUtils.isEmpty(peer.voteFor)) {
                continue;
            }
            //有投票过的
            ips.add(peer.voteFor);
            if (ips.getCount(peer.voteFor) > maxApproveCount) {//超过最多选票数的就更新
                maxApproveCount = ips.getCount(peer.voteFor);//最多选票数
                maxApprovePeer = peer.voteFor;//最多候选者
            }
        }
        //超过半数
        if (maxApproveCount >= majorityCount()) {
            RaftPeer peer = peers.get(maxApprovePeer);//查找票最多的候选者
            peer.state = RaftPeer.State.LEADER;//选为leader

            if (!Objects.equals(leader, peer)) {//如果leader有改变的话就通知
                leader = peer;
                applicationContext.publishEvent(new LeaderElectFinishedEvent(this, leader));
                Loggers.RAFT.info("{} has become the LEADER", leader.ip);
            }
        }

        return leader;
    }

现在有结点leader选出来了,但是其他结点不知道啊,所以要进行心跳同步,心跳同步只有leader可以,我们下篇来看。

好了,今天就到这里了,希望对学习理解有帮助,大神看见勿喷,仅为自己的学习理解,能力有限,请多包涵。

基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测 项目背景: 随着互联网的快速发展,网络上的信息量呈现出爆炸式的增长。然而,互联网上的内容良莠不齐,其中不乏一些不良信息,如色情、暴力等。这些信息对青少年的健康成长和社会风气产生了不良影响。为了净化网络环境,保护青少年免受不良信息的侵害,我国政府加大了对网络内容的监管力度。在此背景下,本项目应运而生,旨在实现对网络图片和视频的自动识别与过滤,助力构建清朗的网络空间。 项目简介: 本项目基于 NSFW(Not Safe For Work)Model,利用深度学习技术对色情图片进行识别与鉴黄。NSFW Model 是一种基于卷积神经网络(CNN)的图像识别模型,通过学习大量的色情图片和非色情图片,能够准确地判断一张图片是否含有色情内容。本项目在 NSFW Model 的基础上,进一步优化了模型结构,提高了识别的准确率和效率。 项目功能: 色情图片识别:用户上传图片后,系统会自动调用 NSFW Model 对图片进行识别,判断图片是否含有色情内容。如果含有色情内容,系统会给出相应的提示,并阻止图片的传播。 视频检测:针对网络视频,本项目采用帧提取技术,将视频分解为一帧帧图片,然后使用 NSFW Model 对这些图片进行识别。如果检测到含有色情内容的图片,系统会给出相应的提示,并阻止视频的传播。 实时监控:本项目可应用于网络直播、短视频平台等场景,实时监控画面内容,一旦检测到含有色情内容的画面,立即进行屏蔽处理,确保网络环境的纯洁。
### 如何在本地部署 NSFW 模型或服务 要在本地环境中成功部署 NSFW(不适宜工作场合内容)检测模型或服务,以下是详细的说明: #### 准备环境 为了确保能够顺利运行模型和服务,需要安装必要的依赖项。这些工具和库包括但不限于以下几类: - **Python 环境**: 推荐使用 Python 3.7 或更高版本。 - **Transformers 库**: 提供加载预训练模型的功能[^1]。 - **PyTorch/TensorFlow**: 支持深度学习框架的计算需求。 - **Pillow (PIL)**: 处理图像文件并将其转换为适合输入模型的形式。 具体命令如下所示: ```bash pip install transformers torch Pillow ``` #### 加载模型与测试 通过 Hugging Face 的 `transformers` 工具包可以直接访问已有的 NSFW 图片分类模型。例如,可以采用名为 `"Falconsai/nsfw_image_detection"` 的公开模型来完成此任务[^1]。 下面是一个简单的代码片段展示如何加载该模型并对单张图片执行预测操作: ```python from PIL import Image from transformers import pipeline def classify_nsfw(image_path): # 打开指定路径下的图片文件 img = Image.open(image_path) # 初始化 image-classification 流水线对象,并指明使用的特定模型名称 classifier = pipeline("image-classification", model="Falconsai/nsfw_image_detection") # 对传入的图片调用流水线方法得到其类别标签及其置信度分数列表形式的结果 result = classifier(img) return result if __name__ == "__main__": test_img_path = "<your_test_image>" output_results = classify_nsfw(test_img_path) print(output_results) ``` 注意替换 `<your_test_image>` 成实际存在的图片绝对或者相对地址字符串值之前再尝试运行以上脚本。 #### 构建 RESTful API 服务 如果希望进一步扩展功能至 Web 应用程序层面,则可考虑利用 Flask/Django 这样的轻量级 web 开发框架构建起支持 HTTP 请求交互的服务端接口。这里给出基于 FastAPI 实现的一个简单例子作为示范用途: ```python import uvicorn from fastapi import FastAPI, File, UploadFile from PIL import Image from io import BytesIO from typing import List from pydantic import BaseModel app = FastAPI() class Prediction(BaseModel): label: str score: float @app.post("/predict/", response_model=List[Prediction]) async def predict(file: UploadFile = File(...)): try: contents = await file.read() pil_image = Image.open(BytesIO(contents)) clf_pipeline = pipeline('image-classification', model='Falconsai/nsfw_image_detection') predictions = clf_pipeline(pil_image) formatted_preds = [{"label": pred['label'], "score": round(pred['score'], 4)} for pred in predictions] return formatted_preds except Exception as e: raise ValueError(f"Error processing uploaded file {e}") if __name__ == '__main__': uvicorn.run(app, host='0.0.0.0', port=8000) ``` 启动服务器之后即可向 `/predict/` 路径发送 POST 请求附带上传待分析的目标图片获取返回结果了。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值