Ollama微调

最新推荐文章于 2025-03-20 13:20:42 发布

软件不硬

最新推荐文章于 2025-03-20 13:20:42 发布

阅读量1.2k

点赞数 23

分类专栏： LLM tool 文章标签： AIGC

本文链接：https://blog.youkuaiyun.com/shuz0612/article/details/145864160

版权

LLM 同时被 2 个专栏收录

6 篇文章

订阅专栏

tool

2 篇文章

订阅专栏

Ollama是一款开源工具，其目标是简化大语言模型在本地环境的部署和使用。它支持多种流行的开源大语言模型，如 Llama 2、Qwen2.5等。在上一篇文章中我们部署Ollama，并使用简单命令管理Ollama。接下来我们学习Ollama的高级应用。通过Ollama的ModeFile文件进行微调。
Ollama微调

通过ModelFile微调

1、创建名为Modelfile的空白文件。
2、在空白文件内写配置信息。

FROM qwen2.5:0.5b

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
你是张小明。回答问题时，你的名字叫小明。
"""

3、写完之后，打开cmd 。（xiaom换为你要起的名字）。

输入下面指令：
ollama create xiaom -f Modelfile

4、启动模型
ollama rm xiaom

5、进行对话

>>> 你是谁？
我是小明。来自AI世界，专注于深度学习和智能技术的探索与实践。

可以看到SystemMessage已生效。

ps，下面是另一个SystemMessage。但SystemMessage未达到预期效果。

SYSTEM """
你的名字是张小明。
"""

>>> 你是谁？
我是阿里云推出的大规模语言模型，我叫通义千问。

ModelFile文件介绍

在 Ollama 里，Modelfile 是用来定义和配置模型的文件，其中包含众多参数用于控制模型的构建、训练和使用。

FROM qwen2.5:0.5b

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
你是张小明。回答问题时，你的名字叫小明。
"""

FROM

指定基于某个基础模型生成新的模型。可以是本地已存在的模型或者是GGUF文件。

PARAMETER

设置模型的超参数。

常用参数如下：

参数名	说明	适用场景
`num_ctx`	上下文长度，即模型在生成文本时能够考虑的输入标记（tokens）数量。更长的上下文可以让模型参考更多前文信息，但会增加内存和计算开销。	需要处理长文本或需要模型参考大量前文信息的场景，如长文档问答、长篇故事生成等。
`temperature`	控制生成文本的随机性。值越大，输出越随机、多样化；值越小，输出越确定、保守。	在需要多样化输出（如创意写作）时增大该值，需要稳定、准确输出（如事实性问答）时减小该值。
`top_k`	在生成文本时，只考虑概率排名前`top_k`的标记。限制可选标记范围，可减少随机性。	希望控制生成文本的范围，避免生成过于随机或不相关内容时使用。
`top_p`	核采样（Nucleus Sampling）参数，只考虑累积概率达到`top_p` 的标记集合。与`top_k` 类似，用于控制生成的随机性。	与 `top_k`结合使用或单独用于更灵活地控制生成文本的随机性。
`repeat_penalty`	重复惩罚因子，用于减少生成文本中重复内容的出现。值越大，对重复内容的惩罚越严重。	当生成文本容易出现重复表述时使用，提高输出的多样性。