大模型提示词-模型三（Gemma与GPT4 ZeroShot提示格式引导） -（专题6）

1. 模型提示指南

1.1 Gemma

谷歌 DeepMind 发布了 Gemma，一系列受相同研究和技术启发的开放语言模型，用于创建 Gemini。Gemma 模型发布包括 2B（训练于 2T 令牌）和 7B（训练于 6T 令牌）模型，涵盖基础和指令微调检查点。这些模型在 8192 令牌的上下文长度下进行训练，并在多个基准测试中通常超越 Llama 2 7B 和 Mistral 7B 模型。

Gemma 模型架构基于变换器解码器，改进包括多查询注意力（2B 模型使用），多头注意力（7B 模型使用），RoPE 嵌入，GeGLU 激活和归一化器位置。

根据技术报告，Gemma 2B 和 7B 在 2T 和 6T 令牌上进行训练，主要由网络文档、数学和代码组成。与 Gemini 不同，这些模型并未明确训练以支持多语言或多模态能力。词汇量为 256K 令牌，采用 Gemini 的 SentencePiece 分词子集，保留拆分数字时的空格，并依赖字节级编码处理未知令牌。

指令微调模型通过在文本-only 合成和人类生成的提示响应对上进行监督微调，并通过人类反馈强化学习（RLHF）进行微调，奖励模型在标记的偏好数据上训练，策略基于一组高质量