大模型边缘推理性能分析

以下是Mistral发布的小模型在边缘推理时所需要的算力及存储空间数据：

模型名称	参数量 (B)	上下文窗口 (tokens)	算力需求	存储空间需求	特点	备注
Mistral NeMo	12	128k	1块英伟达RTX 4500 GPU可全本地运行	双精度浮点数（64位）需要8GB的存储空间，INT8格式下1GB	支持多语言和代码数据，提供预训练基础和指令调优的模型
Mistral-NeMo-Minitron 8B	8	未提供	优化后在NVIDIA H100 80-GB GPU上表现优异	半精度浮点数（16位）和BF16格式都只需要2GB	通过对Mistral NeMo 12B基础模型的宽度剪枝和知识蒸馏获得
Mathstral 7B	7	32k	未提供	未提供	专注于STEM领域，通过更多的推理时间计算可以获得更好的结果
Codestral Mamba	7	256k	线性时间推理，理论上可以处理无限长度的序列	未提供	采用Mamba 2架构，支持256K的上下文，专为代码生成优化

请注意，这些数据是基于搜索结果中的信息整理得出，实际性能可能会因具体实现和应用场景而有所不同。随着技术的发展，这些模型的性能和优化可能会有所更新。