猿创征文｜【MQTT从入门到提高系列 | 10】MQTT协议设计实战

原创 已于 2023-03-27 11:37:55 修改 · 7.1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循CC BY-NC-SA 4.0 版权协议，转载请附上原文出处链接和本声明，禁止商业使用。
文章标签：

#网络 #MQTT #分布式消息中间件 #IOT

于 2022-08-26 11:23:36 首次发布
本文以ESP32模块的实际项目为例，详细介绍了MQTT协议的设计流程，包括主题命名规范、产品需求分析、设计原则及具体实现细节等内容。重点讨论了QoS、Retain和Will等特性在不同场景下的应用。

这是机器未来的第44篇文章

原文首发地址：https://blog.youkuaiyun.com/RobotFutures/article/details/126539873

文章目录


本文以实际项目为案例，描述了MQTT协议设计的实战过程。

1. 回顾topic命名规范

  • 所有主题名称和主题过滤器必须至少有一个字符长，主题分级标识符’/'也算占1个字节
  • 主题名称和主题过滤器区分大小写
  • 主题名称和主题过滤器可以包含空格字符
  • 前导或尾随“/”创建不同的主题名称或主题过滤器
    • topic和/topic、topic和topic/这两对都不是相同的主题名称
  • 仅包含“/”字符的主题名称或主题过滤器是有效的
  • 主题名称和主题过滤器不得包含空字符 (Unicode U+0000)
  • 主题名称和主题过滤器是 UTF-8 编码的字符串，它们的编码不得超过 65535 字节

2. 产品概述

产品基于ESP32系列模块开发，在大流量的应用场景下，4G终端可以通过WIFI连接热点传输，降低4G上网资费。ESP32模块与上位设备采用以太网接口进行连接。

产品大致的需求为：

  • 可用手机配置WIFI接入点信息
  • 可了解ESP32 WIFI链路状态
  • 可配置休眠、唤醒
  • 可远程重启

3. 设计先验

根据MQTT协议规范的理解，应该有如下的认知：

  • MQTT自带消息QoS确认机制，应该对于实时性要求不高的消息，可以不用响应消息，因为在MQTT层已经做了QoS（QoS>=1）送达机制。
  • 对于实时性要求高的机制，因为MQTT3.1.1消息没有有效期的概念，可以增加响应命令，QoS设计为0，相当于放弃MQTT的传达机制，由应用层来管理消息的超时；
  • MQTT遗言机制Will特别方便应用于MQTT链路异常断开的场景，告知其它订阅客户端其已断开，通过Will Retain机制可以让将来的订阅客户端都能收到其已异常断开的消息；
  • MQTT的Retain机制可以保留最新一条数据给将来的订阅者，对于发布端来说，可以结合定时上报和变化上报，保证给订阅者永远都是最新的消息，包括订阅者异常断开重连后，仍然可以拿到最新的数据，而且这个定时时间不用很短。
  • MQTT的消息负载无需满足UTF-8编码字符串的要求，使用二进制编码，可填充任意数据。

4. 设计细则

4.1 协议标准

采用MQTT3.1.1版本

4.2 TOPIC定义规则

  • 采用/topic/前缀（对应/topic和topic是两个不同的主题的认知）
  • 全部采用大写字母（对应MQTT主题名称区分大小写）
  • 采用JSON字符串编码传输
    • 对于交互比较频繁，数据量比较大的业务来说，可以直接使用二进制编码，但考虑到将来的扩展及存在多个业务方的情况，建议使用TAG-LEN-VALUE编码格式，例如\x91\x02\x02\x00\x01，TAG：9102h，Len:02，Value:0002h，这样的好处是使用统一的编码规则，将来协议版本更新时可以向下兼容以前的协议，上位设备对不识别的字段不予处理即可，而不会导致整个报文无法解析。像TAG-LEN-VALUE这种编码数据也被称为结构化数据，特别便于将来扩展新功能。
    • 另外一种扩展方便的编码方式就是JSON字符串，JSON字符串也是一种结构化数据编码方式，将来添加新字段也不会影响到原来设备的协议解析。
  • KeepAlive=300，5分钟的心跳周期
  • MQTT支持TLS加密传输，本项目将采用TLS加密传输，因此不再考虑数据的校验问题。

4.3 TOPIC主题定义

SN.TOPICSUBSCRIBERPUBLISHERQoSRetain
1/TOPIC/OBE_WIFI/UP/DEVICE_INFOUpperDevOBE_WIFI11
2/TOPIC/OBE_WIFI/UP/STATUSUpperDevOBE_WIFI11
3/TOPIC/OBE_WIFI/UP/WILLUpperDevOBE_WIFI11
4/TOPIC/OBE_WIFI/DOWN/CONTROL/RESTARTOBE_WIFIUpperDev00
5/TOPIC/OBE_WIFI/DOWN/CONTROL/KEEPAWAKEOBE_WIFIUpperDev00
6/TOPIC/OBE_WIFI/DOWN/OTAOBE_WIFIUpperDev00
7/TOPIC/OBE_WIFI/UP/RESPONSEUpperDevOBE_WIFI00

主题描述：

  • DEVICE_INFO服务时为了上报OBE_WIFI的系统信息，主要包含描述设备的固定信息
  • STATUS服务是为了上报OBU-WIFI的运行状态数据
  • WILL服务是为了上报OBU-WIFI异常断开时通知其它订阅客户端它已断开
  • RESPONSE服务是为了响应实时服务，例如CONTROL或OTA下发的时效性，RESPONSE消息通过body域中的消息流水号Message_id来绑定下发报文
  • CONTROL服务是为了远程操作OBE_WIFI设备，例如重启、休眠、唤醒等
  • OTA服务时为了通知OBE_WIFI设备升级及提供升级包信息

注意：

  • 因为CONTROL、OTA、RESPONSE更加注重时效性，因此QoS配置为0，其余命令配置为1。
  • TOPIC中区分UP和DOWN的目的是为了结合主题过滤器#使用，例如UpperDev订阅/TOPIC/OBE_WIFI/UP/#即可订阅所有OBE-WIFI发布的主题：
  • Retain标志设定后，服务器会保留最后一条最新的消息，将来新的订阅者或重连的订阅者可以查到最新的历史。结合自动上报和变化上报，订阅者总是能够拿到最新的数据。

4.4 Topic负载消息组成定义

{消息头, “body”:{消息体}}

4.4.1 消息头定义

No.数据项KeyValue范例描述
1命令字cmddev_attr_upload传入String型，详见表3
2应用IDapp_id12564传入Number型，应用ID在设计时定义各方订阅者/发布者ID
3协议版本pro_ver1.0传入String型, 便于将来扩展
4时间戳timestamp2022-03-29 00:00:00传入String型
5消息流水号msg_id234传入Number型，按照消息递增的值，上限为65535，超过则从0递增，唯一表示消息ID

4.4.2 消息体定义

4.4.2.1 DEVICE_INFO服务

TOPIC:/TOPIC/OBE_WIFI/UP/DEVICE_INFO
QoS=1, Retain=1

No.数据项KeyValue范例描述
1设备号device_id91234567传入string型
2软件版本sw_ver1.1传入string型
3硬件版本hw_ver1.0传入string型
4WIFI MACwifi_mac65-7F-36-25-12-89传入string型，跟踪ESP32硬件编号
5WIFI固件版本wifi_firmware_ver1.36.25传入string型，量产后批次采购模块固件版本不一致，便于分析问题
6WIFI无线认证版本wifi_auth_ver1.3传入string型，量产后批次采购模块固件版本不一致，便于分析问题
7国家码country_code86传入string型，国际客户分析
8以太网MACeth_mac65-7F-36-25-12-8A传入string型，跟踪以太网硬件编号
4.4.2.2 STATUS服务

TOPIC:/TOPIC/OBE_WIFI/UP/STATUS
QoS=1,Retain=1

KeepAlive=300，STATUS消息采用定时上报和变化上报机制，定时上报周期取240s上报1次

4.4.2.3 WILL服务

TOPIC:/TOPIC/OBE_WIFI/UP/WILL
QoS=1,Retain=1

无消息体

4.4.2.4 RESTART服务

Topic:/TOPIC/OBE_WIFI/DOWN/RESTART
QoS=0，Retain=0

无消息体，RESPONSE服务，响应执行结果

4.4.2.5 KEEPAWAKE服务

略。

4.4.2.6 RESPONSE服务

Topic:/TOPIC/OBE_WIFI/UP/RESPONSE
QoS=0，Retain=0

No.数据项KEYValue范例描述
1下发消息流水号msg_id256传入Number型，来源于下发消息头中的消息流水号
2下发命令字cmdcmd_down_restart传入string型，来源于下发消息头中的命令字
3结果result0传入Number型，0-成功，1-失败
4结果描述comment“NOT SUPPORT”传入string型，描述失败原因，成功可不存在

5. 总结

在设计MQTT协议的过程中注意事项其实还是挺多的，根据应用场景，QoS、Retain、Will的使用也很巧妙，结构化数据的编码方式为将来的功能扩展提供了可能性。

《MQTT快速入门系列》快速导航：

写在末尾：

  • 博客简介：专注AIoT领域，追逐未来时代的脉搏，记录路途中的技术成长！
  • 专栏简介：从0到1掌握MQTT分布式协议。
  • 面向人群：零基础编程爱好者
  • 专栏计划：接下来会逐步发布跨入人工智能的系列博文，敬请期待

MQTT实战小项目
m0_72749070的博客
10-04 1529
mqtt小项目实践记录
MQTT项目实战
songteng2012的博客
05-13 2608
MQTT协议 自己所在的公司是搞物联网的，所以会用到MQTT协议。 一.为什么用MQTT或者MQTT的优势 1.发布者与订阅者分离 2.提供一对多的消息发布 3.建立在TCP连接基础上 4.有三种消息发布的服务质量(qos)。 二.协议实现方式 三.协议具体流程 ...
MQTT测试客户端工具与实战使用指南
最新发布
weixin_42372837的博客
09-14 1053
MQTT（Message Queuing Telemetry Transport）是一种基于TCP/IP协议之上的轻量级发布/订阅消息传输协议，专为低带宽、高延迟或不可靠网络环境下的设备通信而设计。其核心优势在于低开销、高可靠性和良好的异构系统兼容性。该协议最早由Andy Stanford-Clark（IBM）和Arlen Nipper（Arcom）于1999年开发，最初用于石油管道的远程监控。随着物联网（IoT）的兴起，MQTT逐渐成为工业自动化、智能家居、车联网等领域的主流通信协议之一。
深入浅出MQTT协议：从物联网基础到实战应用全解析
Despacito0o的博客
06-01 2039
《深入浅出MQTT协议：物联网通信核心解析》摘要 MQTT协议凭借轻量级设计（最小4字节数据包）、发布订阅模式（实现时空解耦）和三级QoS机制（0-2级可靠性保障），成为物联网通信的首选协议。文章系统解析了MQTT的核心原理，包括Broker代理架构、二进制报文结构（CONNECT/PUBLISH等），对比了传统C/S模式的局限。通过智能家居等案例，展示了多平台开发实践：从Java后端到嵌入式设备（如ESP32智能灯泡），再到Web前端集成。文章还对比了MQTT与CoAP/AMQP的适用场景，并介绍了MQT
一文读懂物联网 MQTT 协议之实战篇
riemann_的博客
08-02 8045
欢迎大家关注我的微信公众号【老周聊架构】，Java后端主流技术栈的原理、源码分析、架构以及各种互联网高并发、高性能、高可用的解决方案。 一、前言 上一篇我们介绍了 MQTT 协议格式以及相关的特性：一文读懂物联网 MQTT 协议之基础特性篇，这一篇我们就来实战一番，理论得与实践结合，方能吃透 MQTT。 我的那个读者还提到了讲一下 Mosquitto，这是一款开源消息代理软件，提供轻量级的，支持可发布/可订阅的的消息推送模式，使设备对设备之间的短消息通信变得简单，比如现在应用广泛的低功耗传感器，手机、嵌.
MQTT入门实战宝典：从零起步掌握物联网核心通信协议
Despacito0o的博客
06-01 2871
通过本文的学习，你已经掌握了MQTT协议的核心概念、EMQX代理的搭建方法、安全配置、主题设计最佳实践，以及完整的实战案例。这些知识将为你在物联网领域的项目开发提供坚实的基础。物联网正在改变我们的生活和工作方式，而MQTT作为其核心通信协议，正在连接越来越多的智能设备。希望这篇指南能够帮助你顺利踏入物联网开发的大门，创造出更多有趣且实用的应用。最后，别忘了：技术的价值在于实践，赶紧动手搭建你的第一个MQTT应用吧！
基于python的EC800物联网mqtt协议开发指南：从入门到实战
04-01
总结，本指南通过Python和Paho-MQTT库，结合EC800物联网模块，为开发者提供了从基础概念到实战应用的MQTT协议开发教程。通过理解这些内容，你可以构建自己的物联网解决方案，实现设备与云端的高效通信。
MQTT协议从入门到实战：物联网通信协议详解与Python源码实现教程
09-04
本资源全面解析MQTT物联网通信协议，包含协议原理、消息格式、QoS等级等核心概念详解。通过Python+paho-mqtt库实战演示，提供完整的发布/订阅模式实现代码，涵盖连接建立、主题发布、消息订阅、遗嘱消息等关键功能。...
MQTT协议实战教程：从入门到精通，附完整源码实现物联网通信
09-07
本资源全面介绍MQTT协议的核心概念、工作原理及实际应用。内容涵盖MQTT协议基础、QoS质量等级、主题过滤机制、保留消息和遗嘱消息等关键技术点。通过详细的代码示例，展示如何使用Eclipse Paho客户端库实现MQTT...
【MQTT从入门到提高系列 08】MQTT3
2401_87555477的博客
11-04 784
如果服务器检测到瞬态错误，它不应该断开连接或对其与任何其他客户端的交互产生任何其他影响。客户端或服务器实现可能会遇到阻止成功处理 MQTT 数据包的瞬态错误（例如内部缓冲区已满情况）。主题级别分隔符用于将结构引入主题名称。如果存在，它将主题名称划分为多个“主题级别”。开头的特殊主题常用于特殊控制目的，例如SYS/，客户端不能定义以$开头的主题。订阅的主题过滤器可以包含特殊的通配符，允许您一次订阅多个主题。开头的特殊主题常用于特殊控制目的，例如。开头的主题，需要单独订阅。开头的主题，需要单独订阅。
MQTT实战之MQTT入门
weixin_30703911的博客
08-11 549
MQTT入门介绍（一） 一．MQTT简述 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、...
阿里MQTT使用实战
07-21
阿里MQ消息队列使用说明，自己亲自实战成功通信结果;优快云自动给添加下载分数了，重新编辑下，5分就可下载
Java MQTT 完整实战指南：接收消息与处理详解
Takumilove的博客
12-19 3383
通过以上代码，你可以快速实现一个简单的Java MQTT 消息接收器。只需替换你的服务器地址、用户名和密码，即可接收来自指定主题的消息。下一步可以做什么？添加消息持久化功能，将接收到的消息保存到数据库。实现多主题监听，订阅多个 MQTT 主题。结合前端展示，实时可视化消息内容。
Mqtt实战项目
热门推荐
青山田边
08-09 1万+
Mqtt实战项目 一个基于Mqtt的小项目，服务器采用mosquitto，客户端有Python，C，Android三种，涉及SSL加密，传输内容：文字图片。 目录 [Toc] 一、Mqtt概述 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，有可能成为物联网的重要组成部分。该协议支持所有平台，...
MQTT 实战
linan101的博客
07-14 1464
这篇文章对mqtt简介还比较好 （一） https://blog.youkuaiyun.com/qq_43260665/article/details/88370100 （二） 一般函数 https://blog.youkuaiyun.com/qq_43260665/article/details/88537158?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-3&spm=1001.2101.3001.4242 （三） 重启重连 https:/
springboot整合mqtt实现消息发送和消费，以及客户端断线重连之后的消息恢复
weixin_45614461的博客
08-02 6946
参考资料： http://mqtt.p2hp.com/mqtt311 https://mcxiaoke.gitbooks.io/mqtt-cn/content/mqtt/02-ControlPacketFormat.html https://blog.youkuaiyun.com/anxianfeng55555/article/details/80908795 MQTT简介 ​ MQTT是一种基于发布/订阅模式的轻量级通讯协议，该协议构建在TCP/IP协议上。 MQTT最大的有点在于可以以极少的代码和有限的带宽，为远程
MQTT实战篇
没事就写点
07-28 3272
转载自http://dataguild.org/?p=6957 前几篇文章我们介绍了MQTT协议本身，虽然非常适合物联网项目，但是在项目实施的时候有诸多不便：mosquitto等开源产品可扩展性不佳、需要自己签发X509证书、认证与授权不灵活、MQTT服务需要自己运维等。所以，在实施物联网服务的时候，应该采用云端的托管服务，以便聚焦物联网业务，而不是为了基础架构和运维烦恼。 这次我们将
MQTT 实战_paho mqtt 3c
2401_85015164的博客
05-17 569
makemqtt 的架构分为客户端和服务端，服务端的作用是broker，我在实例中使用的broker是在这个位置下载的 https://www.emqx.com/zh/downloads?安装上，直接执行就可以也可以在浏览器上面查看，监控相关信息http://127.0.0.1:18083 用户名为 admin 密码 public。
物联网实战--入门篇之(七)嵌入式-MQTT
ypp240124016的博客
04-01 6132
以paho mqtt为基础，结合esp8266 WIFI的收发，写一个mqtt的驱动文件
MQTT协议详解：从入门到精通
MQTT协议中文版，详细介绍了MQTT的基础概念、控制报文格式及操作行为，适用于物联网(IoT)和机器对机器(M2M)通信。 MQTT（Message Queuing Telemetry Transport）是一种轻量级的发布/订阅消息协议，主要用于低带宽、...
评论 22
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器未来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值