mosquitto-cluster

保姆级教程:手把手教你用Docker Compose搭建Mosquitto MQTT集群(附配置文件) 本文提供了一份详细的Docker Compose教程,手把手教你搭建Mosquitto MQTT集群,包括配置文件解析和集群架构设计。通过容器化方案,实现高可用MQTT服务架构,解决单点故障问题,提升物联网设备通信的可靠性和扩展性。 阅读详情

https://github.com/hui6075/mosquitto-cluster/blob/master/readme-zh_cn.md

 安装环境
  820  cd /home
  821  ll
  822  mkdir mosquitto
  823  ll
  824  cd mosquitto/
  825  ll
  826  rz
  827  yum install lrzsz
  828  git clone https://github.com/hui6075/mosquitto-cluster.git 
  829  yum -y install git
  830  git ?version 
  831  git -version 
  832  git --version 
  833  yum -y install docbook-style-xsl
  834  find / -name docbook.xsl
  835  ll
  836  git clone https://github.com/hui6075/mosquitto-cluster.git 
  837  ll
  838  tar -zcvf mosquitto-cluster.tar.gz mosquitto-cluster
  839  ll
  840  sz mosquitto-cluster.tar.gz
  841  ll
  842  history
  843  cd mosquitto-cluster && vim config.mk 
  844  ll
  845  /etc/
  846  ll
  847  cd /etc/
  848  ll
  849  cd ..
  850  lll
  851  ll
  852  cd home/mosquitto/mosquitto-cluster
  853  ll
  854  yum install gcc gcc-c++
  855  yum install openssl-devel
  856  yum install c-ares-devel
  857   yum install libuuid-devel
  858   yum install wget
  859  yum install cmake
  860  yum install build-essential python quilt devscripts python-setuptools python3
  861   yum install libssl-dev libc-ares-dev uuid-dev daemon openssl-devel
  862  yum install libxslt
  863  ll
  864  history
  865  find / -name docbook.xsl
  866  cd  man/
  867  vim  manpage.xsl 
  868  cd ..
  869  ll
  870  make && make install
  871  history


Mosquitto集群

在Mosquitto集群中,客户端可以在任何节点上订阅主题,也可以在任何节点上发布消息,集群会保证消息按需转发到正确的节点。
为了均衡负载及避免单点故障,Mosquitto集群实现为完全去中心化、自治的方式。

编译安装

> git clone https://github.com/hui6075/mosquitto-cluster.git 

> cd mosquitto-cluster && vi config.mk 

安装

通过命令查找文件 docbook.xsl,在本机中也没有发现,因此基本可以确定是找不到这个文件所致:

[root@localhost mosquitto-1.2]# find / -name docbook.xsl


解决办法:

1.安装docbook-style-xsl

使用命令:yum -y install docbook-style-xsl

2.查看文件docbook.xsl被安装到了哪里:

例如:

[root@localhost tools]# find / -name docbook.xsl
/usr/share/sgml/docbook/xsl-stylesheets-1.78.1/epub/docbook.xsl
/usr/share/sgml/docbook/xsl-stylesheets-1.78.1/fo/docbook.xsl
/usr/share/sgml/docbook/xsl-stylesheets-1.78.1/html/docbook.xsl
/usr/share/sgml/docbook/xsl-stylesheets-1.78.1/manpages/docbook.xsl
/usr/share/sgml/docbook/xsl-stylesheets-1.78.1/xhtml/docbook.xsl
/usr/share/sgml/docbook/xsl-stylesheets-1.78.1/xhtml-1_1/docbook.xsl

3.搜索到之后,将上面红字中的地址修改到文件manpage.xsl里的对应位置;


# WITH_BRIDGE:=yes
WITH_CLUSTER:=yes

> make && make install 

部署

在所有节点上安装Mosquitto,并把节点名、IP、端口号写进配置文件mosquitto.conf,例如:

node_name node1
node_address 192.168.1.1:1883

node_name node2
node_address 192.168.1.2:1883

然后配置负载均衡器,把所有节点的地址:端口号作为后端服务地址。Mosquitto是单进程实现,建议单机多实例部署,并把TLS终结在负载均衡器。

Mosquitto集群特性

客户端的连接/订阅/取消订阅消息广播到集群内其他节点,发布消息按需转发。

环路避免

任何节点对于来自其他节点的发布消息只会发送给客户端,对于来自其他节点的订阅/取消订阅消息不会被转发。

避免重复订阅

对于每个来自客户端的订阅主题,以引用计数的方式保存在本地,只有在收到新的客户端主题订阅消息,或者主题不再被任何客户端订阅时进行转发。

私有消息

为支持集群session及保留消息,Mosquitto集群引入了如下私有消息:
PRIVATE SUBSCRIBE
固定头部|报文标识符|主题过滤器|QoS|客户端标识符|订阅标识符

PRIVATE RETAIN
固定头部|主题过滤器|QoS|[报文标识符]|客户端标识符|订阅标识符|接收时间戳|有效载荷

SESSION REQ
固定头部|客户端标识符|会话清除标识

SESSION RESP
固定头部|客户端标识符|报文标识符|订阅数量|订阅1(主题过滤器|QoS)|...|订阅N|发布消息数量|发布消息1(主题过滤器|状态|方向|重复标识|QoS|报文标识符|有效载荷)|...|发布消息N|

集群会话支持

每次客户端连接时,若本地没有发现会话信息,则广播SESSION REQ消息,其他节点收到此请求时若发现此客户端的会话信息,则断开/清除此客户端/上下文,若会话清除标识被设为FALSE,则返回此客户端的订阅状态及未完成的QoS为0和1的发布消息。此特性可以通过配置文件禁用,但压测和性能采样结果表明此特性在大并发的情况下并不会带来特别大的开销。

集群保留消息支持

每次收到来自于客户端的订阅时,节点会广播PRIVATE SUBSCRIBE,如果存在保留消息,其他节点会把此保留消息及接收时间通过PRIVATE RETAIN消息返回给此节点,因此客户端得以收到集群中绝对时间戳最晚的保留消息。

QoS支持

所有发布消息以原始QoS在集群内转发,但被节点当做QoS为0进行处理。实际转发给客户端的发布消息按照协议取发布QoS和订阅QoS两者较小值。

其他特性

集群间消息处理时不进行校验。集群间建立连接时发送所有本地先前的订阅关系。

设计思想

Mosquitto集群目标

水平扩展,避免单点故障,整个集群对外表现为一个完整的逻辑MQTT代理。

image

Pic1. Mosquitto集群概览

每次收到客户端的订阅消息时,通知其他节点此话题被订阅;每次收到客户端的发布消息时,把消息路由到正确的节点上。

image

Pic2. Mosquitto集群私有消息

节点与其他节点间只有一条逻辑通道,为了承载不同客户端的订阅/发布消息,引入了一些私有消息,包含客户端标识符、订阅标识符、时间戳等等,以帮助节点做出正确的路由和转发。

image

Pic3. Mosquitto集群内部消息流

转发规则:
转发来自于客户端的本节点新发生的订阅;当话题不再被任何客户端订阅时广播取消订阅消息;不转发任何系统话题。

Benchmark

使用krylovsk/mqtt-benchmark对集群进行简单的基准测试,集群吞吐率在3个以上节点时受限于客户端从而停止增长。
image

Pic4. Mosquitto集群平均吞吐率

n=10k表示每个客户端发送10000条消息, c=100表示总共启动100个客户端。
消息长度1000字节,QoS选取为2。

更详细的Tsung压测报告: https://github.com/hui6075/mosquitto-cluster/tree/master/benchmark

其他

image

Pic5. Mosquitto源码分析

Mosquitto:从单机到高可用集群的进阶部署与运维指南 本文详细阐述了如何将Mosquitto MQTT Broker从单机部署平滑演进至高可用集群架构。通过对比桥接与负载均衡两种模式,重点推荐了基于HAProxy的负载均衡方案,并提供了从节点配置、负载均衡器设置到监控告警的完整实战部署指南,旨在帮助用户构建可水平扩展、消除单点故障的可靠物联网消息基础设施。 阅读详情

相关推荐

从单点到集群:Mosquitto桥接集群实战部署与高可用架构设计

MQTT协议作为物联网设备通信的核心标准,其轻量级、低带宽消耗和发布/订阅模式使其成为海量设备连接场景下的首选方案。协议的核心原理在于通过代理服务器中转消息,实现设备间的解耦通信。在技术价值层面,MQTT不仅解决了设备与云端、设备与设备间的实时数据交换问题,更通过服务质量等级保障了关键指令的可靠送达。随着物联网应用规模从数百设备扩展到百万级别,单点代理服务器在连接数、消息吞吐量和系统可用性上会面临瓶颈,此时便需要引入集群化部署来获得水平扩展和高可用能力。本文聚焦于MQTT领域广泛使用的开源代理Mosquit

weixin_34192816的博客 340

MQTT的学习之Mosquitto集群搭建

MQTT的学习之Mosquitto集群搭建

街头小瘪三的专栏 3413

Linux上安装Mosquitto集群(CentOS)

Mosquitto集群 在Mosquitto集群中,客户端可以在任何节点上订阅主题,也可以在任何节点上发布消息,集群会保证消息按需转发到正确的节点。 为了均衡负载及避免单点故障,Mosquitto集群实现为完全去中心化、自治的方式。 编译安装 > git clonehttps://github.com/hui6075/mosquitto-cluster.git > cd m...

qq_35928732的博客 652

linux基于mosquitto搭建MQTT服务器集群

打开mosquitto.conf文件( /etc/mosquitto/mosquitto.conf ),找到allow_anonymous节点,这个节点作用是,是否开启匿名用户登录。去掉前面的#,改为false。并确保配置文件mosquitto.conf中password_file /etc/mosquitto/pwfile.example与重置名字时的密码文件路径名称一致。找到 #acl_file节点进行配置 acl_file /etc/mosquitto/aclfile.example。

weixin_52472152的博客 1325

从零搭建MQTT服务端与客户端工具链实战指南

MQTT作为一种轻量级的发布/订阅消息传输协议,是物联网领域的核心通信标准。其基于TCP/IP协议栈,通过极小的代码开销和低带宽占用,实现了设备与服务器之间的高效双向通信。该协议采用发布/订阅模式,解耦了消息生产者与消费者,特别适合网络不稳定或资源受限的嵌入式环境。在物联网、移动推送、车联网等场景中,MQTT能有效管理海量设备连接与消息路由。本文聚焦于如何从零开始,基于Docker容器化技术部署高可用的MQTT Broker服务端,并详细对比了EMQX与Mosquitto两大主流开源方案的选型考量。同时,深

weixin_34059951的博客 409

unity中判断是否联网,判断网络状态的两种方式

unity中判断是否联网,判断网络状态的两种方式

wla2996gpy032的博客 1879

mosquitto 集群

Mosquitto的分布式集群部署物联网交流群:651219170如果需要做并发量很大的时候就需要考虑做集群处理,但是我在查找资料的时候发现并不多,所以整理了一下,搭建简单的Mosquitto集群模式。 首先集群需要2台以上的Mosquitto服务器。安装方式以前的章节有。 先了解下Mosquitto集群模式的逻辑图,如下:可以看出,master 这一台分别作为 broker1, 和 broke

yuhaiyang457288的专栏 5996

STM32----SPI+DMA高效读写外部Flash的配置与实战

本文详细介绍了STM32通过SPI+DMA高效读写外部Flash的配置与实战方法。针对大量数据传输场景,使用DMA技术可显著提升系统效率,释放CPU资源。文章包含完整的代码实现、常见问题调试技巧以及性能优化建议,帮助开发者快速掌握这一关键技术。

pea55的博客 1032

Ubuntu环境下基于MQTT协议的mosquitto以及集群和鉴权插件的安装和简单使用

本文就众多MQTT-Server中的mosquitto的安装进行讲解。 一、下载。 对于Ubuntu系统,可以使用sudo apt-get 来安装mosquitto,但是这种方法虽然简单,但是对于配置文件的修改和管理比较麻烦,配置文件需要自己写好然后启动时载入,因此不太推荐。 本人更推荐的是第二种方法,也就是本文重点要讲的,下载tar.gz安装包,进行安装。 首先,到mosquitto的官...

嫌疑人X的解忧杂货店 5312

Qt C++ bridge模式(桥)

Bridge模式使得抽象和实现能够相对独立。 bridge.h #pragma once #include class CImplementor { public: virtual void operateImp() = 0; }; class CRectImplementor : public CImplementor { public: CR

thinkme2010的专栏 1894

(程序设计方法与实践)达拉崩吧的酒宴

达拉崩吧的酒宴 Description 很久很久以前,巨龙突然出现,带来灾难带走了公主又消失不见,王国十分危险,世间谁最勇敢,一位勇者赶来大声喊:“我要带上最好的剑,翻过最高的山,闯进最深的森林,把公主带回到面前”……最后,英雄 达拉崩巴斑得贝迪卜多比鲁翁 ,他战胜了巨龙 昆图库塔卡提考特苏瓦西拉松 ,国王把公主 米娅莫拉苏娜丹妮谢莉红 嫁给了 达拉崩巴斑得贝迪卜多比鲁翁 。 于是国王第二天要在 蒙达鲁克硫斯伯古比奇巴勒城 举办酒宴,一共准备了 N 桶酒。此时一位忠诚的仆人来报,有人在其中一桶酒里下毒,

What_If_I的博客 894

MQTT学习——Centos7上安装Mosquitto和使用

MQTT学习——Centos7上安装Mosquitto和使用 前言 MQTT是IBM开发的一个即时通讯协议。MQTT是面向M2M和物联网的连接协议,采用轻量级发布和订阅消息传输机制。Mosquitto是一款实现了 MQTT v3.1 协议的开源消息代理软件,提供轻量级的,支持发布/订阅的的消息推送模式,使设备对设备之间的短消息通信简单易用。  若初次接触MQTT协议,可先理解以下概念: 【MQT...

tiny_lxf的博客 571

实战解析:如何通过LTspice仿真优化MOS管缓启动电路,解决上电冲击电流问题

本文详细解析如何通过LTspice仿真优化MOS管缓启动电路,有效解决上电冲击电流问题。文章从问题根源分析入手,介绍LTspice环境搭建、缓启动电路设计原理、参数优化技巧及实际工程问题排查,帮助工程师掌握MOS管电源开关电路的关键设计方法,提升系统可靠性和性能。

weixin_28683689的博客 516

mosquitto 真的集群化

[root@CentOSNode2 mosquitto]# vim  mosquitto.conf每个节点有要安装 :这样的额配置共三个节点node_name CentOSNode1node_address CentOSNode1:1883node_name CentOSNode2node_address CentOSNode2:1883node_name CentOSNode3node_addr...

大JAVA解决方案 2647

Diffusion Model原理详解

Diffusion Model(扩散模型 )对标的是生成对抗网络(GAN),本文将用通俗的语言和公式为大家介绍Diffusion Model,并且结合公式为大家梳理Diffusion Model的代码。

weixin_42620109的博客 6102

从零开始:用Neo4j构建你的第一个知识图谱(附完整代码示例)

本文提供了一份从零开始的Neo4j知识图谱构建实战指南。通过一个“经典科幻电影宇宙”的具体案例,手把手教你安装环境、设计图谱模式,并使用Cypher查询语言完成节点与关系的创建、数据查询及可视化,帮助你快速掌握自下而上构建知识图谱的核心技能。

weixin_29053073的博客 475

mosquitto 集群搭建

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33768481的博客 870

【IoT】 产品设计之结构设计:如何设计产品按键

1、硅胶按键功能实现有两种接触方式 1)硅胶按键按压在DOME片(锅仔片)上 通常用在手机、儿童手表手机、防水手机等防水设备上。 2)硅胶按键增加导电基,一种黑色的导电碳粒,实现回路导电 通常用在遥控器、电脑键盘、特殊设备上。 两种方式结构设计原理是一样的,按键的固定与配合间隙与行程要确保好。 2、硅胶遥控器按键的结构方式(导电基) 按键帽为大颗粒实心的,触点为黑色导电基,通过压注成型融合为一体,那么这种按键结构设计时需要注意那些呢? 最主要的是按键按压回弹的手感,由于没有DOME片实现

产品线负责人 8674

MQTT协议原理与Mosquitto服务器搭建实战

MQTT是一种专为物联网设计的轻量级发布/订阅协议,其核心在于长连接、QoS分级、会话持久化与Topic路由机制。不同于HTTP请求-响应模型,MQTT通过异步消息管道显著降低嵌入式设备通信开销,支撑电池续航与弱网可靠性。技术价值体现在对不可靠网络下消息语义的精准控制——如QoS=1的去重重传、Clean Session=false的离线消息缓存、DUP标志位协同机制等。典型应用场景涵盖智慧物流网关、AEP平台设备接入、智能家居边缘节点等工业级系统。本文以Mosquitto为载体,深入拆解协议帧结构、Bro

weixin_34416754的博客 338

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

MQTT服务器实战:从零部署Mosquitto物联网消息代理

MQTT是一种专为资源受限设备设计的轻量级发布/订阅消息传输协议,其核心在于低开销、高可靠与断网续传能力。它通过TCP/IP构建异步通信契约,支持QoS分级、遗嘱消息和主题过滤等关键机制,广泛应用于智能硬件、工业采集与边缘计算场景。作为当前最主流的开源MQTT broker,Mosquitto以C语言实现、零依赖、低内存占用著称,特别适合嵌入式环境与教学实验。本文聚焦Ubuntu平台下的Mosquitto 2.2.7源码编译、TLS证书签发、ACL权限控制及QoS1压测验证,覆盖从实验室调试到生产加固的完整

weixin_34292402的博客 310

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

MQTT简介Mosquitto桥接及集群环境搭建

https://blog.youkuaiyun.com/hui6075/article/details/79092318 https://www.cnblogs.com/lexiaofei/p/8297775.html https://blog.youkuaiyun.com/z729685731/article/details/70142182 https://blog.youkuaiyun.com/yuhaiyang4572...

$firecat利白的代码足迹$ 5526

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

MQTT协议实战:从零搭建Mosquitto Broker实现物联网通信

消息队列遥测传输(MQTT)是物联网场景中最主流的轻量级通信协议,其基于发布/订阅模型的设计能够有效解决低带宽、高延迟和网络不稳定环境下的设备通信问题。理解MQTT的核心机制,包括Topic层级设计、三种QoS服务质量等级以及遗嘱消息等特性,是构建可靠物联网系统的关键前提。在实际工程中,选择一个高性能的Broker服务端至关重要,Eclipse Mosquitto凭借开源、轻量、跨平台等优势成为教学和实践的首选。通过部署Mosquitto、配置认证与权限、使用命令行或图形化客户端完成消息收发的完整流程,可以

weixin_34121304的博客 369

Ubuntu 24.04 部署 EMQX 5.8:生产级 MQTT 服务器搭建与调优指南

MQTT 协议作为物联网设备通信的基石,其 broker 需支撑海量并发连接与安全可靠的消息路由。EMQX 基于 Erlang/OTP 构建,天生具备高并发与分布式能力,5.8 开源版集成认证、ACL、规则引擎等生产级特性。在 Ubuntu 24.04 LTS 上部署,可借助其稳定的系统库与 systemd 集成,实现从安装、安全配置到性能调优的完整落地。本文聚焦 apt 源安装、Dashboard 安全加固、客户端联调及高频故障排查,为物联网、车联网等场景提供可复用的部署实践。

weixin_28273593的博客 364

家庭自动化系统集成:在 GitOps 集群中部署 Home Assistant、Node-RED 和 MQTT

家庭自动化系统集成是现代智能家居的核心,而通过 GitOps 方式在 Kubernetes 集群中部署 Home Assistant、Node-RED 和 MQTT 可以实现高效、可靠的智能家居控制。本文将详细介绍如何利用 GitOps 原则,通过代码定义和管理 Kubernetes 集群状态,实现这三个核心组件的无缝集成。 ## 为什么选择 GitOps 部署家庭自动化系统? GitOps

gitblog_00634的博客 491
上一篇: MQTT简介Mosquitto桥接及集群环境搭建
下一篇: mosquitto 真的集群化
王树民
博客等级 码龄10年 912粉丝 560原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值