终端侧生成式AI时代已经来临｜中国AIGC产业峰会

AI手机、AI PC硬件新物种正崭露头角。

高通作为技术及芯片厂商，所提供的产品和解决方案正在推动AIGC相关产业的规模化扩展。

在本次AIGC产业峰会上，高通公司Al产品技术中国区负责人万卫星分享了这样的观点：

2024年，高通会重点支持多模态模型以及更高参数量的大语言模型在端侧的部署。而高通顶尖的异构计算设计使AI能力贯穿整个SoC，将CPU、GPU和NPU的能力都充分释放给开发者。

同时，借助高通AI Hub，开发者可以轻松地开发自己的创新AI应用，就 像**“把大象塞入冰箱”**一样简单。

为了完整体现万卫星的思考，在不改变原意的基础上，量子位对演讲内容进行了编辑整理，希望能给你带来更多启发。

中国AIGC产业峰会是由量子位主办的行业峰会，20位产业代表与会讨论。线下参会观众近千人，线上直播观众300万，获得了主流媒体的广泛关注与报道。

话题要点

• 基于图像语义理解的多模态大模型发展是当下的重要趋势。

• 芯片厂商如何满足生成式AI多样化的要求。

• 虚拟化身AI助手，充分利用高通异构计算能力的端到端用例解析。

• 利用高通AI Hub进行应用开发的过程就像“把大象塞进冰箱”一样简单。

以下为万卫星演讲全文：

终端侧生成式AI时代已经来临

我们相信，终端侧生成式AI时代已经来临。

高通在2023年10月发布的第三代骁龙8和骁龙X Elite两款产品上，已经实现了大语言模型完整地在端侧运行，并且已经或即将为众多AI手机和AI PC提供支持。

在手机方面，去年年底和今年年初，包括三星、小米、荣耀、OPPO和 vivo 等众多OEM厂商发布的Android旗舰产品，都已经具备了在端侧运行生成式AI的能力。

基于图像语义理解的多模态大模型发展是当下的重要趋势。

在今年2月的MWC巴塞罗那期间，高通也展示了全球首个在Android手机上运行的多模态大模型（LMM）。

具体来说，我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入、超过70亿参数的大语言和视觉助理大模型（LLaVa），可基于图像输入生成多轮对话。

具有语言理解和视觉理解能力的多模态大模型能够赋能诸多用例，例如识别和讨论复杂的视觉图案、物体和场景。

设想一下，有视觉障碍的用户就可以在终端侧利用这一技术，实现在城市内的导航。同时，高通在骁龙X Elite上也演示了全球首个在Windows PC上运行的音频推理多模态大模型。

接下来看看高通作为技术及芯片厂商，如何满足生成式AI多样化的要求。

不同领域的生成式AI用例具有多样化的要求，包括按需型、持续型和泛