大模型边缘AI芯片部署情况

在边缘推理芯片上部署的大模型有一些特定的要求，包括算力、内存带宽、内存容量等，以支持巨量参数的大模型在边缘端运行。以下是一些可以在边缘推理芯片上部署的大模型及其相关信息：

芯片名称	支持的大模型	特点	应用场景	备注
DeepEdge10	SAM CV大模型、Llama2等百亿级大模型	国内首创的国产14nm Chiplet大模型推理芯片，支持大模型推理部署	AIoT边缘视频、移动机器人等场景	采用D2D chiplet架构打造的X5000推理卡，已适配并可承载百亿级大模型运算
CV75AX	适合集成前置ADAS和DMS的AI行车记录仪	AI性能提高2倍，支持最新的Transformer神经网络	车载网关、多摄像头系统	支持视觉Transformer和多模态视觉语言模型（VLM）
CV72AX	适合下一代车载网关	AI性能比前代产品高出6倍	实时监测预警、多通道视频预分类和自然语言搜索	支持高达340亿参数的多模态大模型推理
Cooper Mini	低功耗系统单芯片高达30亿参数的多模态大模型	为边缘计算环境量身定制	设备上直接进行高级数据处理的应用	基于CV72芯片的多模态大模型推理解决方案
玄铁RISC-V AI平台	支持运行170余个主流AI模型	推动RISC-V进入高性能AI应用时代	边缘计算和高性能AI应用	玄铁处理器C920全新升级，执行GEMM计算较Vector方案可提速15倍

这些芯片和模型的组合展示了在边缘推理芯片上部署大模型的可能性，能够支持复杂的AI计算任务，并具备较强的通用算力。随着技术的发展，未来可能会有更多的大模型能够在边缘推理芯片上得到有效部署。