Gemma新一代开源模型技术解析

Gemma：新一代先进开源模型

在人工智能领域，我们始终致力于让AI技术惠及每个人。基于与开发Gemini模型相同的研究和技术，现推出新一代开源模型Gemma，以协助开发者和研究人员负责任地构建AI应用。

Gemma开源模型

Gemma是一个轻量级、先进的开源模型家族，其名称源自拉丁语"gemma"，意为"宝石"。该模型由某机构DeepMind及某机构其他团队联合开发，现已在全球发布。主要技术细节包括：

• 发布两种参数规模的模型权重：Gemma 2B和Gemma 7B，均提供预训练和指令调优变体
• 推出新的负责任生成式AI工具包，为构建更安全的AI应用提供指导和必要工具
• 为所有主流框架提供推理和监督微调工具链：JAX、PyTorch和通过原生Keras 3.0的TensorFlow
• 提供即用型Colab和Kaggle笔记本，并与Hugging Face、MaxText、某机构NeMo和TensorRT-LLM等流行工具集成
• 预训练和指令调优的Gemma模型可在笔记本电脑、工作站或某机构云上运行，支持Vertex AI和某机构Kubernetes Engine轻松部署
• 跨多个AI硬件平台优化，确保行业领先性能，包括某机构GPU和某机构云TPU
• 使用条款允许所有组织负责任地进行商业使用和分发，无论规模大小

尺寸级别的先进性能

Gemma模型与当今广泛可用的最大、最强大AI模型Gemini共享技术和基础设施组件。这使得Gemma 2B和7B在同类开源模型中实现了最佳性能。值得注意的是，Gemma在关键基准测试中超越了明显更大的模型，同时遵循严格的安全和负责任输出标准。

负责任的设计理念

Gemma在设计时将AI原则置于首位。为了确保预训练模型的安全可靠性，采用了自动化技术从训练集中过滤某些个人信息和其他敏感数据。此外，通过广泛的微调和人类反馈强化学习，使指令调优模型与负责任行为保持一致。

同时发布的新负责任生成式AI工具包包括：

• 安全分类：提供构建具有最少示例的鲁棒安全分类器的新方法
• 调试：模型调试工具帮助调查Gemma行为并解决潜在问题
• 指导：基于开发部署大语言模型的经验，提供模型构建者的最佳实践

跨框架、工具和硬件的优化

可以针对特定应用需求对Gemma模型进行微调，例如摘要或检索增强生成。Gemma支持多种工具和系统：

• 多框架工具：支持使用喜爱的框架，通过多框架Keras 3.0、原生PyTorch、JAX和Hugging Face Transformers提供推理和微调的参考实现
• 跨设备兼容性：Gemma模型可在流行设备类型上运行，包括笔记本电脑、台式机、物联网设备、移动设备和云平台
• 先进硬件平台：与某机构合作优化Gemma在某机构GPU上的性能，确保行业领先性能
• 某机构云优化：Vertex AI提供广泛的MLOps工具集，具有多种调优选项和使用内置推理优化的一键部署

研发免费额度

Gemma专为推动AI创新的开放开发者和研究社区而构建。可通过Kaggle免费访问、Colab笔记本免费层级和首次使用某机构云用户的300美元额度开始使用Gemma。研究人员还可申请总额高达50万美元的某机构云额度以加速项目。

可以访问ai.google.dev/gemma了解更多关于Gemma的信息并获取快速入门指南。随着Gemma模型家族的持续扩展，期待为多样化应用引入新的变体。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）