AIoT 智变浪潮演讲实录 | 刘浩然：让硬件会思考：边缘大模型网关助力硬件智能革新

4 月 2 日，由火山引擎与英特尔联合主办的 AIoT “智变浪潮”技术沙龙在深圳成功举行，活动聚焦 AI 硬件产业的技术落地与生态协同，吸引了芯片厂商、技术方案商、品牌方及投资机构代表等 700 多位嘉宾参会。

会上，火山引擎边缘智能高级产品专家刘浩然通过“让硬件会思考：边缘大模型网关助力硬件智能革新”主题演讲，分享了边缘计算与大模型结合的前沿实践。火山引擎推出边缘大模型网关，解决 IoT 设备调用大模型的延迟、模型适配与成本痛点，通过接口标准化、多模型支持及边缘缓存等技术优势，实现就近访问与故障转移。同时，联合芯片厂商预置大模型能力，在智能玩具等场景提供定制行业智能体，加速硬件智能化进程。

以下是演讲实录：

大家好！我来自火山引擎边缘计算团队，今天我和大家沟通的主题是“让硬件会思考：边缘大模型网关助力硬件智能革新”。

1.智能终端设备市场趋势及行业痛点

首先来看整体市场发展趋势，2025 年智能终端设备的增长数量和增长率比较高，增长率达到了 18.5%，随后几年增长率将逐步下降，但受益于整体市场，设备的数量规模依然比较庞大，所以增量市场比较可观。在成本层面， 2025 年，大模型的调用使得智能终端云端使用成本也有了较大的增幅，增幅达到 18.5%，这和设备的数量增幅呈现出非常强的正相关性，但在未来几年，智能终端云端调用成本的增幅将逐步放缓，这预示着随着新技术的迭代和应用，整体成本将有下降的趋势。

越早抓住大模型越有利于市场份额的获取，同时行业也面临着一些问题和痛点。

• 首先是响应延迟问题对业务时效性的影响。虽然大模型和 IoT 设备结合后，IoT 设备会变得更加智能，但在某些场景下，设备响应可能迟钝，比如弱网环境或是不恰当地使用模型，导致延时剧增等。斯坦福大学的研究显示，78% 的用户等待超过 3 秒后会产生焦虑，甚至有 15% 的用户会直接放弃交互。因此，在 IoT 设备和大模型结合的价值验证阶段，因时效性带来的用户流失、用户参与度的缺失，对发展都非常不利。

• 其次是多模型、多 Provider 带来的技术复杂度和稳定性保障的问题。大模型时代百花齐放，很多不同的大模型相继问世。大模型有自己的特点，供应商有自己的定价策略，那在什么场景下选择哪个大模型、哪家供应商，才可以使场景应用达到效率和成本的最优？这是一个摆在整个行业面前待解决的技术难题。

• 最后是成本压力对企业运营