乐鑫私有化智能体平台介绍与应用

乐鑫正式推出乐鑫私有化智能体平台 (Private AI Agents Platform)，这是一个专为 IoT 设备厂商打造的自托管智能体平台，支持厂商在其自有 AWS 账户中部署和管理。该平台经过专门优化，用于构建和管理可集成到连接设备、配套移动应用及 Web 控制台中的 AI 智能体。在本文中，我们将对这一平台进行详细介绍。 

AI Agents 与 IoT 

我们首先需要思考的问题是：什么是 AI Agent？它为什么对 IoT 领域如此重要？ 

AI Agent 是围绕工作流展开实施，将大语言模型 (LLMs) 与工具调用层结合起来，使其能够读取和更改设备状态、调用 API、访问知识库，并基于上下文进行决策。对于设备厂商来说，这类能力解锁了全新的应用场景，例如： 

• 配套应用中的智能客户支持 
• 用于设备控制的自然多语言语音界面 
• 基于实时设备状态与权威产品文档的智能客服 
• 最终由传感器事件、云端规则及其他服务驱动的环境智能 (Ambient Intelligence) 

高层架构

为物联网系统设计这样的智能体实现，需要充分考虑交互模式（文本、语音）、可扩展性、安全性、成本和安全风险。考虑到这些因素，Private AI Agents Platform 构建在 AWS 云服务之上，使用 AWS Fargate 作为主要应用平台，并以 Amazon Bedrock Foundation Models 作为后端 LLM 系统。乐鑫已提供公共试用实例；在生产环境中，客户可以将同样的平台部署到自己的 AWS 账户中。以下为系统的高层架构示意： 

下面我们将介绍如何创建和使用针对上述场景的智能体。 

智能体定义

一个智能体由 LLM 选择、系统提示和一组赋予其执行操作能力的工具组成。乐鑫私有化智能体平台允许用户使用预置模板创建智能体，或者完全自定义智能体。 

LLM （大语言模型）选择

在智能体定义过程中，开发者可以从支持的 AWS Bedrock Foundation Models 中选择 LLM，实现对性能、成本和行为的全面控制。每种交互模式（语音与文本）可单独指定 LLM，从而支持优化配置，例如：为对话语音接口使用轻量级模型，为复杂文本推理使用更高性能模型。该灵活性确保每个智能体都可针对特定使用场景进行精准调优，同时在客户自己的云环境中保持一致的部署与管理。 

系统提示

每个智能体（无论是使用模板创建还是从零构建）都包含一个系统提示。系统提示定义智能体行为，并建立其角色特性，例如语音控制器、讲故事助手或客户支持助手。当你命名一个智能体时，控制台可使用 LLM 自动生成初始系统提示，用户可以保留、修改或完全替换。在交互过程中，用户的查询会与系统提示结合，引导 LLM 按照智能体的预期角色进行推理和响应。 

工具

工具是智能体可调用以执行特定任务的可插拔动作。控制台内置若干预定义工具，例如 ESP RainMaker 控制、音量控制、情绪识别，同时支持自定义工具以满足应用需求。平台支持两类工具： 

远程工具

乐鑫私有化智能体平台支持模型上下文协议 (MCP)，允许设备厂商将智能体连接到更广泛的第三方 MCP 兼容服务与工具生态。通过 MCP 服务器，智能体可无缝与外部系统交互，例如查询知识库、与设备云通信、创建客户工单或与其他服务交互，而无需自建集成。这种可插拔性大幅加快开发速度，并确保智能体可随生态系统扩展而演进。平台还支持 OAuth 验证，保证智能体可安全登录 MCP 服务器并获取用户提供的上下文。 

本地工具

除了基于 MCP 的远程工具外，平台还支持本地工具，允许在客户端（如物联网设备或移动应用）直接执行工具调用。本地工具使智能体能够触发实时设备级动作，无需后台集成。例如，当智能设备接收到语音指令“关闭卧室风扇”时，开发者只需暴露一个本地工具，如 toggleFan 或 setSpeed，智能体即可直接将指令发送给设备或应用，立即执行。这使得本地工具非常适合设备控制闭环、离线交互和低延迟体验，确保智能体响应自然、及时。 

一旦智能体定义完成，可直接通过 Web 控制台测试其对查询的响应和工具调用情况。控制台提供交互式界面，可同时尝试文本和语音模式，便于验证行为、微调提示词并确认工具集成，确保智能体在部署到应用前表现稳定。 

在真实设备上快速上手：分步指南 

配置好智能体后，您可以在三种支持的开发套件上运行它：EchoEar（喵伴）、ESP32-S3-Box、M5Stack Core S3。智能体客户端兼容三种平台，可完整测试语音交互、工具执行及端到端行为，真实体验用户操作。 

1. 烧录固件 

平台支持直接在浏览器中将预编译固件刷入开发板，无需安装任何工具链，使测试智能体非常便捷。固件完整源码将很快提供，开发者可根据需求探索、定制和扩展客户端实现。刷机与使用指南请参考：https://github.com/espressif/esp-agents-firmware。 

当前支持两类固件： 

• 通用助手/好友 (Generic Assistant/Friend) 
• 支持 Thread 的语音辅助 Matter 控制器 (Voice-assisted Matter Controller) 

2. 使用 ESP RainMaker Home App 配置设备

打开 ESP RainMaker Home 应用，设置设备的 Wi-Fi 凭证。应用将引导完成配置流程，确保设备安全连接到网络，并可与智能体通信。 

3. 将新智能体配置到设备

此步骤可选，用于更改设备上运行的默认智能体。设备上线后，可使用同一移动应用将其绑定到你的智能体。每个在控制台创建的智能体都有唯一的 Agent URL（二维码形式）。扫描二维码，应用会自动写入正确的 Agent ID 到设备。默认固件中已配置智能体，使设备充当用户的“好友”。 

4. 通过语音与设备交互 

完成配置后，设备已完全连接智能体。可自然发出语音指令、提问或触发操作，智能体将实时处理输入、进行推理，并调用相应工具执行。 

 

手机应用内聊天智能体

乐鑫私有化智能体平台的另一个应用场景是将智能体直接集成到设备的移动伴侣应用中。ESP RainMaker Home App 内置了聊天智能体功能，演示了这一能力。控制台创建的智能体可直接配置为应用内聊天智能体，即刻体验对话交互，无需额外开发。 

由于聊天智能体可调用本地工具，它能够直接获取设备实时状态，实现更智能的支持场景，例如：“为什么我的空气净化器显示红灯？”或“检查风扇是否已连接”。这种对话理解与设备实时状态结合的方式，使伴侣应用内的支持体验更加高效、个性化。 

总结

综上所述，乐鑫私有化智能体平台为 IoT 设备开发者提供了一套完整、可扩展且安全的智能体方案。通过灵活选择 LLM（大语言模型） 、配置系统提示词，并结合远程与本地工具，开发者能够精确控制智能体行为，并在真实设备和配套应用中进行验证。平台的模块化架构与安全机制确保智能体能够高效地与设备、云端服务以及用户交互，帮助 IoT 产品实现自然、智能化的交互体验，同时降低开发和部署成本。