Gemma 2 2B：针对小型 LLM 提示工程关注点

大型语言模型的有效性在很大程度上取决于我们给出的指令。提示工程是指以从 LLM 获得最佳输出的方式设计问题的过程。这是实现基于 LLM 的功能的关键步骤。提示工程是一个迭代过程。如果尝试过不同的 LLM，那么发现为了获得更好的结果，需要微调提示。

这同样适用于不同尺寸的模型。

由大型 LLM（例如 Gemini 或 ChatGPT）提供支持的聊天界面通常只需极少的提示工作即可生成令人满意的结果。但是，在使用未经微调的默认较小 LLM 时，需要调整相应的方法。

较小的 LLM 功能较少，可供选择的信息池也较小。

小型LLMs的定义与应用场景

定义“小型LLMs”

在人工智能领域，语言模型（LLMs）根据其参数的数量可以分为不同规模。小型LLMs通常指的是参数数量在数百万到数十亿范围内的模型。这些模型相较于拥有数十亿甚至数千亿参数的大型模型，虽然在处理能力和知识广度上有所限制，但它们在资源消耗和部署灵活性上具有优势。

参数范围

小型LLMs的参数范围通常在几百万到30亿以下。这个参数量级的模型能够实现基本的语言理解和生成任务，但可能在复杂度和准确性上不如大型模型。

应用场景

小型LLMs的典型应用场景包括：

• 设备端/浏览器中的生成式AI：例如，使用Gemma 2B模型与MediaPipe的LLM Inference API结合，即使在仅支持CPU的设备上也能运行。
• 自定义服务器端生成式AI：开发者可以在自己的服务器上部署如Gemma 2B、Gemma 7B或Gemma 27B等小型模型，并根据需要进行微