EMQX + AI：重塑消费电子产品智能化创新路径

在当前的 AI 发展浪潮中，人工智能技术正以前所未有的速度重塑着人类的生产与生活方式。从最初基于文本的大语言模型，到支持语音、图像、视频等多模态交互的智能系统，AI 已经与各类应用软件和各行业的生产力工具深度融合，极大提高了用户使用体验与工作生产效率。

然而，由于 AI 对算力有着极高的需求，且其交互方式在精准度、自然度以及适配多样性场景等方面存在一定的复杂性，在消费电子产品领域，AI 技术仍未实现规模化应用。

EMQX 广泛应用于消费电子产品的 IoT 接入场景，能够实现现实世界与应用服务之间的连接。本文将探讨如何利用现有 IoT 技术框架，实现创新且友好的消费电子智能化场景。

AI 大模型在消费电子产品领域的优势

在 AI 大模型广泛应用之前，消费电子产品依赖于传统的规则和意图识别技术，能够提供一些简单的智能化功能。但这种方案需要大量人工标注训练数据和编写意图匹配规则，难以应对复杂场景，且开发成本高昂。

引入 AI 大模型后，消费电子产品可以通过其强大的自然语言理解、多模态数据处理和上下文感知能力，提供更加智能的交互体验。其优势包括：

• 增强的自然语言处理：无需严格和固定的指令格式，支持语音、文本、图像等多模态输入，提供更加流畅和准确的交互。
• 场景理解和自适应能力：能够根据用户的使用习惯和当前所处场景，给出更加智能与个性化的响应。
• 低成本的定制化部署：现有 AI 大模型成本更低，企业能在其基础上训练特定的人工智能方案，优化大模型的适应性与性能。

此外，AI 大模型还能持续学习新的数据和知识，随着时间的推移，不断优化消费电子产品的交互体验，为用户提供始终领先且贴合需求的交互服务 。

利用 EMQX 连接设备与 AI 服务

在探讨物联网与 AI 服务融合之前，我们先了解一下消费电子领域物联网数据流程：

设备借助网络连接与 EMQX Platform 建立通信，通过上行数据将设备采集到的各类信息，如传感器数据、设备状态等，传输至 EMQX Platform 并集成到业务应用中；同时，通过下行数据接收来自业务应用的指令，如设备控制指令、参数调整指令等。凭借这样的数据交互，驱动各类业务，实现多样化应用场景 。

这个过程中，最重要的环节就是实现数据的接入上云。从方案架构角度来看，设备通常采用两种接入方式：

• 直接接入：通过 WIFI 或 5G 模组与云端直接建立连接。常见于智能冰箱、智能电视、监控摄像头等具备持续稳定的电源供应能力的电子设备。
• 网关接入：先通过使用蓝牙、ZigBee 等协议的网关建立连接，然后由网关将数据转换并上传至云端。常见于智能门锁、传感器等低功耗设备。

由于 EMQX 具有高性能、低延迟、灵活数据格式的消息传输能力，AI 推理计算所依赖的各类传感器和交互数据，以及 AI 推理结果的下发可以在这个架构下高效传输。

借助边缘计算概念，可以采用 AI 分层计算方案进一步提高数据处理效率，以增强用户体验：

1. MCU 上的轻量级 AI

   如果设备搭载具有 AI 推理能力 MCU，可以的设备结合轻量级 AI 技术，快速处理特定场景中简单任务，例如：

   • 语音识别：将语音信号转换为特定的设备指令，或者进行有限的语音-文本转换；
   • 动作识别：通过 YOLO 模型等机器学习神经网络，识别摄像头捕捉到的特定场景，并将其转化为动作或者指令。

2. 边缘网关的小型人工智能模型

   边缘网关拥有较为强大的计算能力，能够处理更为复杂多样的任务，例如：

   • 多模态数据处理：基于 Phi-3.5-vision 等多模态小模型，整合并分析文本、语音、图像以及视频流等数据，实现更精准地识别和处理。
   • 支持脱机运行：在网络连接中断的条件下确保关键业务的持续运行。

3. 云端的大型人工智能模型

   基于云端强大的计算资源以及完整大模型能力，实现多模态数据的深度处理和复杂任务的解决，例如：

   • 深度理解和分析自然语言，精准把握人类通过语音传达的意图。
   • 整合和挖掘来自不同设备的多模态数据，提供全面且智能的指令。

在以上场景中，无论是设备采集到的原始数据，还是经过 AI 模型处理后生成的事件与指令数据，都可以基于 MQTT 协议通过 EMQX 传输到云端。EMQX 实现了物理设备与人工智能之间的无缝集成，能够快速响应复杂的用户请求，提高用户体验和整体效能。

AI 驱动的创新交互场景

AI 技术正在为消费电子产品带来前所未有的机遇，使其从基本的智能设备发展成为真正的智能伴侣。 通过情境感知、多模态交互和高级自动化等功能，人工智能重新定义了用户与设备之间的互动方式。 以下是三个关键的智能交互场景：

深度理解和智能交互

智能交互的本质是深度解读用户的真实需求，而非机械地将用户指令映射为设备动作。

例如，目前市场中的空调产品可以通过语音实现开启、模式设定等基本操作，但用户往往需要进行多次交互才能满足自身对环境舒适度的要求。

借助 AI 技术，大模型可以依据当前室内的实时温度、湿度以及其他环境数据，结合用户长期以来形成的个性化使用习惯，精准地对空调的运行模式与温度设定进行调整，只需一次交互就能为用户营造出舒适的室内环境氛围。

场景探索与功能推广

AI 技术能够识别和分析用户行为习惯，实现不同家居设备之间的智能协同运作。

例如：当洗衣机完成洗衣任务后，用户通常会降下晾衣架以便晾晒衣服，AI 大模型可以识别并记录这一使用习惯，并提醒用户进行一键式联动规则设置。

与传统模式相比，用户无需手动在 App 中探索功能并编排规则，避免了繁琐低效的操作。这种创新的需求挖掘与便捷设置方式，全方位适配了多样化场景中的用户习惯与实际需求，显著提升便利性的同时，增强了用户对产品的使用粘性，降低了新功能的推广难度，进一步提升了企业的市场竞争力。

多模态数据驱动的创新

随着多模态人工智能的发展，全新的数据输入方式与多样化的智能交互场景不断涌现。

例如：智能冰箱能够通过内置摄像头精准识别所储存的各类物品，实现智能工作模式调节、菜品保鲜期提醒等功能，并支持将数据共享给用户授权的菜谱应用；未来，这些数据还可以与智能家庭机器人对接，实现用户指令的智能判断和操作执行，提高了家居服务的效率与精准度。

借助设备开放的传感器和执行器接口，结合 AI 大模型的自然语言理解以及智能规则，消费电子产品企业可以深入挖掘并探索各种丰富且个性化的交互场景，进一步推动智能化生态的发展与完善，满足消费者多样化的使用需求。

EMQX + AI 智能交互演示

基于 EMQX 面向消费电子产品的 MQTT 平台及 AI 融合架构，本节将展示 EMQX 与 AI 大语言模型的深度集成，实现设备与用户之间智能、高效的实时互动。

技术选型

• 设备层：使用 MQTTX 或者 MQTTX CLI 模拟设备发送消息。具体指令和场景请参考下文。
• MQTT 接入平台：EMQX Platform
• AI 大模型：基于 Azure AI 提供的 GPT-4o 模型
• Agent 层：使用 Node.js 开发

架构介绍

EMQX 充当接入层，将设备、边缘网关数据接入云端，并与 Agent 进行集成。Agent 通过预设的提示词，使用 EMQX 发送过来的数据调用云端大模型，实现数据识别与处理，并返回最终的操作指令。

在这个架构中，数据流转过程如下：

1. 消费电子产品通过 MQTT 将数据传输到边缘 AI 网关或直连 EMQX。
2. 边缘层进行初步处理和数据清洗，通过 MQTT 转发给 EMQX。
3. Agent 服务接收 MQTT 消息并将需要 AI 处理的请求通过 HTTP 转发给 Azure AI。
4. Azure AI 处理并返回标准化指令，然后通过 EMQX 的 MQTT 下发到具体设备。

AI 交互规则设计

AI 交互规则决定了云端模型如何响应设备的事件和操作请求，并决定了最终的交互效果。其流程如下：

输入：自然语言/多模态数据/环境指标
↓
处理：设备操作规划（考虑场景约束）
↓
输出：标准化操作指令

这个过程可以理解为一种特殊的反编译：将人类自然语言和行为转换为设备可以理解和执行的具体指令。

本次演示通过精心设计的提示词引导 AI 大模型生成准确的控制指令。在实际产品中，提示词中的数据内容可以来自多模态数据或者预先设定输入，除了提示词外，也可以采用其他方式实现交互规则的编排。

智能家居场景提示词示例：

这个提示词描述的是一个智能家居控制的场景。在这个场景中，用户可以通过自然语言指令来控制家中的各种智能设备，如语音助手、灯光和家庭机器人等。这些设备可以通过预设的联动规则相互协作，以提供更加便捷和自动化的家居体验。

用户可以发出指令，如“开启空调”，系统会解析这个指令并生成相应的设备控制指令去执行。同时，系统还会根据预设的联动规则自动执行一些动作，比如在关闭窗帘后自动打开客厅的灯光。

此外，系统还具备一些特殊功能，例如：当电视检测到有人距离过近时，会自动暂停播放并锁定操作；家庭机器人可以完成从冰箱取食物、清洁房间等任务。

整个系统旨在通过语音控制和自动化规则，提供一个更加智能和便捷的家居环境。

你是一个智能家居控制助手。请根据用户的自然语言指令，生成相应的设备控制指令。
可控制的设备包括:
- 语音助手(voiceAssistant): {"device":"voiceAssistant","action":"on/off","mode":"normal/sleep","timer":{"on":"HH:mm","off":"HH:mm"}, "voice":"你好，我是你的语音助手，有什么可以帮您的？"}
- 灯光(light): {"device":"light","action":"on/off","brightness":0-100,"color":"rgb(r,g,b)","colorTemp":2700-6500,"timer":{"on":"HH:mm","off":"HH:mm"}}
- 空调(ac): {"device":"ac","action":"on/off","temperature":16-30,"mode":"cool/heat/auto/sleep","fanSpeed":1-5,"swing":"on/off","timer":{"on":"HH:mm","off":"HH:mm"}}
- 窗帘(curtain): {"device":"curtain","action":"open/close","position":0-100,"mode":"auto/manual","timer":{"open":"HH:mm","close":"HH:mm"}}
- 晾衣架(clothesHanger): {"device":"clothesHanger","action":"up/down","position":0-100,"drying":"on/off","timer":{"up":"HH:mm","down":"HH:mm"}}
- 洗衣机(washer): {"device":"washer","action":"start/pause/stop","mode":"standard/quick/heavy/wool/delicate","temperature":0-95,"spin":400-1400,"timer":{"start":"HH:mm"}}
- 新风系统(ventilation): {"device":"ventilation","action":"on/off","speed":1-5,"mode":"auto/manual","pm25Threshold":0-150,"timer":{"on":"HH:mm","off":"HH:mm"}}
- 地暖(floorHeating): {"device":"floorHeating","action":"on/off","temperature":20-35,"mode":"day/night","timer":{"on":"HH:mm","off":"HH:mm"}}
- 门锁(lock): {"device":"lock","action":"lock/unlock","mode":"auto/manual","alarm":"on/off","timer":{"lock":"HH:mm","unlock":"HH:mm"}}
- 扫地机器人(vacuum): {"device":"vacuum", "", "action":"start/pause/dock","mode":"auto/spot/edge","power":1-3,"timer":{"start":"HH:mm","dock":"HH:mm"}}
- 加湿器(humidifier): {"device":"humidifier","action":"on/off","humidity":30-80,"mode":"auto/sleep","timer":{"on":"HH:mm","off":"HH:mm"}}
- 电视(tv): {"device":"tv","action":"on/off/openApp/openAppAndSearch","app":"netflix/youtube/prime/hulu/bilibili/iqiyi/tencent","searchKeyword":"搜索关键词","volume":0-100,"brightness":0-100,"mode":"normal/movie/game/sleep","channel":1-999,"source":"hdmi1/hdmi2/usb/tv","timer":{"on":"HH:mm","off":"HH:mm","sleep":"HH:mm"}}
- 冰箱(fridge): {"device":"fridge","action":"flushFoodList"}
- 家庭机器人(homebot): {"device":"homebot","action":"getFoodFromFridge/cleanRoom/washDishes/foldClothes","target":"食物名称","room":"房间名称","mode":"gentle/standard/deep","timer":{"start":"HH:mm","end":"HH:mm"},"position":{"x":0-100,"y":0-100,"z":0-100}}
联动规则:
0. 默认所有的对话都是通过语音助手进行的（指定了设备除外），如果通过它来操作其他设备，不需要返回内容给语音助手，直接下发操作指令给设备。
1. 如果关闭窗帘，自动打开客厅灯光
2. 如果洗衣机洗衣完成且手动打开了门，自动降下晾衣架。只是洗衣完成并不会做任何操作
3. 睡眠模式：关闭所有灯光，调低空调温度至26度，调到睡眠模式，打开加湿器睡眠模式
4. 离家模式：关闭所有用电设备，锁门，打开安防系统
5. 回家模式：打开玄关灯，新风系统开启，冬季打开地暖，夏季打开空调
6. PM2.5超标时：自动关闭门窗，开启新风系统最大档
7. 下雨天气：自动收起晾衣架，关闭相关窗户
8. 清晨模式：窗帘自动打开，播放轻音乐，打开厨房灯光
9. 烹饪模式：打开厨房灯光，开启新风系统，打开智能水龙头
10. 观影模式：调暗客厅灯光，关闭部分灯光，窗帘关闭到80%
11. 如果不在规则之内，你根据语义进行判断，给出最合理的指令
12. 对于电视，允许设置一个功能：当检测到有人停留在电视 < 1 米超过 10 秒，自动暂停播放并锁定用户的操作，提示用户距离过近，请手动解锁或者远离电视
    如果检测到人离开电视 1 米之外，则自动解锁电视，并恢复播放。
13. 对于家庭机器人（简称机器人），假设可以来操作、管理家里的电器和做一些家务。
    如果机器人要从冰箱拿东西，需要先发送请求给冰箱，再检查冰箱中是否有该食物，如果没有，则机器人不做任何行动，提示用户原因。
    如果食物是生的没有加工的，则提示用户是无法直接食用的，无法执行这个指令。
    如果食物是熟的，则判断是否要微波炉加热，提示用户将先帮助用户加热。
    其他以此类推，按照生活场景情况处理。
    （这部分返回用户的提示语请通过机器人传达回用户，例如：冰箱中没有xxx，无法执行操作  冰箱中的xxx是生的，无法提供给您直接食用）
14. 对于冰箱，假设可以接收指令来刷新冰箱里有哪些食物和食材
在本次示例中，冰箱中的食物和食材情况如下：
  - 猪肉、新鲜里脊肉、冷藏层 2、2024-12-11 入库
  - 牛奶、纯牛奶、冷藏层 1、2024-12-09 入库
  - 酸奶、安慕希原味、冷藏层 1、2024-12-08 入库
  - 生鸡蛋、散装、冷藏层 2、2024-12-07 入库、剩余10个
  - 胡萝卜、新鲜、冷藏层 3、2024-12-05 入库
  - 西兰花、新鲜、冷藏层 3、2024-12-09 入库
  - 啤酒、青岛啤酒、冷藏层 4、2024-12-08 入库、剩余4瓶
  - 面包、欧包、冷藏层 1、2024-12-10 入库
  - 速冻水饺、三全韭菜猪肉、冷冻层 1、2024-12-08 入库
  - 冰淇淋、哈根达斯草莓味、冷冻层 2、2024-12-07 入库
  - 可乐、可口可乐罐装、冷藏层 4、2024-12-07 入库、剩余2瓶
刷新后云端将存储冰箱的食材情况，如果涉及到查找食物场景，先给冰箱刷新数据、再请根据指令（查找、过滤、列出等操作）通过语音助手给用户结果。
返回格式为:
[{}, {}, {}]
每个对象中再加一个属性：ationDescription，使用中文描述执行动作的意图
如果有定时相关的需求，增加额外的字段，设置定时时间，表达式为 currentTime + {after} (after 为秒钟数)

冰箱预测性维护提示词示例

这个提示词描述的是一个冰箱故障诊断的场景。在这个场景中，云端的故障诊断系统需要根据传感器数据来分析冰箱可能存在的故障，并提供相应的故障描述、解决方案以及紧急程度判断。

对于特殊故障依赖历史数据进行分析，系统可以识别并制定每个传感器数据的筛选规则，包括异常值和时间范围，按需采集数据，支撑云端故障精准分析。

这种场景通常用于智能家居预测性维护领域，通过对设备的实时监控和数据分析，实现故障的快速诊断和处理。

你是一个冰箱故障诊断专家。请根据以下传感器数据进行故障分析：
- 震动数据 (vibration): 正常范围 0-1.0
- 噪音分贝 (noise): 正常范围 35-45dB
- 压缩机温度 (compressorTemperature): 正常范围 4-80
- 冰箱温度 (fridgeTemperature): 正常范围 -18到4摄氏度
- 门开关状态 (doorStatus): 开/关
- 除霜状态 (defrostStatus): 是/否
- 制冷功率 (coolingPower): 0-100%
- 湿度 (humidity): 30-60%
- 电流 (current): 0.1-10A