【LLM】Gemma：最新轻量级开源大语言模型实践

轻量级模型是 AI 模型，与传统模型相比，设计得更小、更高效。轻量模型表现为：

• 更快的处理速度，因为它们需要更少的计算能力来在笔记本电脑甚至智能手机等资源较少的设备上运行和操作。
• 减少内存使用量，因为它们占用的内存空间更少。
• 降低运行模型所需的计算成本。

这种模型是通过使用更少的参数、创建优化的架构和量化（使用更少的位表示模型的数据）来实现的。

轻量级模型的示例包括 MobileNet（一种专为移动和嵌入式视觉应用设计的计算机视觉模型）、EfficientDet（一种对象检测模型）和 EfficientNet（一种使用复合缩放以实现更好性能的 CNN）。所有这些都是来自谷歌的轻量级模型。

在本文中，我们将介绍 Gemma，一款最先进的轻量级模型。

简介

Gemma 是由 Google AI 开发的一系列轻量级开源机器学习模型，这些模型易于访问且高效，使 AI 开发更容易为广大用户所接受。Gemma 于 2024 年 2 月 21 日发布，采用与Gemini 模型相同的技术架构。Gemma 是基于文本训练的。它在文本摘要、问答和推理等任务中表现出色。

根据可训练参数数量，Gemma 模型有两种主要版本：2B 和 7B，同时它还提供指令调整模型，如 Gemma 2B-FT 和 7B-FT，这些模型专为使用个人数据集进一步定制而设计。

一、Gemma构建

安装要求：

• Kaggle账户
• Colab Notebook

要获得对 Gemma 的访问权限，必须向 Gemma 模型卡发送访问请求并选择“请求访问”。您将需要填写同意书并接受条款和条件。然后，选择 Colab 运行时并配置 API 密钥。可以在 Gemma 设置文档中找到详细的设置。

在本教程中，我们将使用 Colab notebook环境来运行模型。完成 Gemma 设置后，您必须为 Colab 环境设置变量。