Gemma 3：谷歌发布的多模态大模型，单GPU即可轻松部署，性能超越Llama3！

最新推荐文章于 2025-04-05 09:04:25 发布

OpenCSG

最新推荐文章于 2025-04-05 09:04:25 发布

阅读量791

点赞数 18

文章标签：开源社区人工智能算法

本文链接：https://blog.youkuaiyun.com/OpenCSG/article/details/146514172

版权

大规模的预训练模型正在快速改变着各行各业的格局。近期，谷歌DeepMind团队推出的Gemma 3系列，无疑再次刷新了多模态AI模型的高度。这款新发布的Gemma 3系列模型，不仅支持文本和图像输入，还能处理长达128K tokens的上下文，能够在单张GPU上流畅运行，极大地方便了开发者在不同计算环境中的部署。

Gemma 3的亮点

Gemma 3采用了与前代相同的解码器Transformer架构，结合了创新的局部-全局注意力机制。在自注意力机制中，Gemma 3采用了5:1的局部层与全局层交替设计，有效减少了在长上下文推理中可能出现的内存开销。此外，Gemma 3还集成了基于Vision Transformer的SigLIP视觉编码器，能够高效地处理图像输入。

在预训练和后训练过程中，Gemma 3使用了先进的知识蒸馏和强化学习技术，使得模型在数学推理、编程、指令跟随等方面表现更加优异。

1. 多模态支持，文本与图像融合

Gemma 3的最大亮点之一就是它的多模态能力。作为多模态大模型，Gemma 3不仅可以处理文本数据，还能支持图像输入，分析图像中的内容并生成文本输出。这为开发者带来了前所未有的灵活性和扩展性。通过集成SigLIP视觉编码器，Gemma 3能够处理图片、视频并进行深度理解。例如，开发者可以上传一张图片并询问其中的物体或文字，模型能够快速解析并回答相关问题。

2. 支持最大128K tokens的上下文窗口

Gemma 3相较于其前代产品，在处理长文本方面做出了显著优化。支持长达128K的上下文窗口，能够处理复杂的任务，如长篇法律文件的分析、编程代码的理解等。对于需要大规模上下文理解的应用场景，Gemma 3无疑提供了强大的技术支持。

3. 单GPU/TPU运行，性能惊人

Gemma 3不仅支持多模态输入，还优化了模型的计算资源需求。最令人兴奋的是，Gemma 3的27B参数版本仅需一张GPU或TPU就可以流畅运行，相比其他需要多卡集群的大型模型，Gemma 3大幅降低了部署成本。它在LMArena竞技场中获得了1339 ELO分数，仅次于DeepSeek R1，是当前最强的开源多模态大模型之一。

4. 多语言支持，覆盖140+种语言

Gemma 3在语言处理方面也有了显著的进展。它支持35种语言的开箱即用支持，且预训练覆盖了140多种语言，极大地增强了全球化应用的开发潜力。无论是处理英文、中文，还是其他低资源语言，Gemma 3都能提供强大的性能。

卓越性能：超越同类，超强推理与处理能力

Gemma 3的卓越性能在多个领域表现得淋漓尽致：

LMArena高分超越对手：Gemma 3 27B在LMArena竞技场中以1339 ELO的高分排名，在多个基准测试中超越了DeepSeek V3、LLaMA 3等其他大型开源模型，展示了其在推理任务中的卓越能力。特别是在处理长上下文和多模态任务时，Gemma 3的表现远超预期，成为当前最强的开源模型之一。