谷歌开源大模型Gemma初体验

简介

2024年2月21日，谷歌发布了一系列最新的开放式大型语言模型 —— Gemma！
Gemma 提供两种规模的模型：7B 参数模型，针对消费级 GPU 和 TPU 设计，确保高效部署和开发；2B 参数模型则适用于 CPU 和移动设备。每种规模的模型都包含基础版本和经过指令调优的版本。

• Gemma发布博客：https://huggingface.co/blog/zh/gemma
• Gemma文档：https://huggingface.co/docs/transformers/v4.38.0/en/model_doc/gemma
• GPU colab教程：https://huggingface.co/google/gemma-7b/blob/main/examples/notebook_sft_peft.ipynb
• TPU训练脚本示例：https://huggingface.co/google/gemma-7b/blob/main/examples/example_fsdp.py
• 基于Hugging Face微调示例：https://huggingface.co/blog/zh/gemma-peft

以下内容参考huggingface博客

PEFT

对于中等大小的语言模型，常规的全参数训练也会非常占用内存和计算资源。对于依赖公共计算平台进行学习和实验的用户来说，如 Colab 或 Kaggle，成本可能过高。另一方面，对于企业用户来说，调整这些模型以适应不同领域的成本也是一个需要优化的重要指标。参数高效微调（PEFT）是一种以低成本实现这一目标的流行方法。

在 Hugging Face 的 transformers 中，Gemma 模型已针对 PyTorch 和 PyTorch/XLA 进行了优化，使得无论是 TPU 还是 GPU 用户都可以根据需要轻松地访问和试验 Gemma 模型。随着 Gemma 的发布，我们还改善了 PyTorch/XLA 在 Hugging Face 上的 FSDP 使用体验。这种 FSDP 通过 SPMD 的集成还让其他 Hugging Face 模型能够通过 PyTorch/XLA 利用 TPU 加速。本文将重点介绍 Gemma 模型的 PEFT 微调，特别是低秩适应（LoRA）。

想要深入了解 LoRA 技术，我们推荐阅读 Lialin 等人的

• “Scaling Down to Scale Up”
• 以及 Belkada 等人的 精彩文章。

环境配置

pip install -q -U bitsandbytes==0.42.0
pip install -q -U peft==0.8.2
pip install -q -U trl==0.7.10
pip install -q -U accelerate==0.27.1
pip install -q -U datasets==2.17.0
pip install -q -U transformers==4.38.1

模型下载

要访问 Gemma