大语言模型（LLM）的训练微调 Fine Tuning -- part3 本地调用

以下代码示范如何调用已经微调后的大语言模型，调用本地模型

先决条件

已经有了本地训练好的大语言模型，如何训练可以参考我的博文

《生成式 AI》课程 作业6 大语言模型（LLM）的训练微调 Fine Tuning -- part2-优快云博客文章浏览阅读148次，点赞2次，收藏2次。代码围绕一个主工作目录展开，在这个主工作目录下包含了多个子目录和相关文件，用于存放不同阶段的数据、模型以及输出结果等内容，各个部分分工明确，以支持整个预训练语言模型微调及测试的流程。这段 Python 代码主要实现了基于 Hugging Face Transformers 库对预训练语言模型（具体为模型）进行微调（Fine-tuning）的功能，使其能更好地应用于生成唐诗相关内容的任务。整个流程涵盖了数据加载与预处理、模型配置、模型训练以及训练后模型的测试与结果保存等环节。https://blog.youkuaiyun.com/chenchihwen/article/details/144000079?sharetype=blogdetail&sharerId=144000079&sharerefer=PC&sharesource=chenchihwen&spm=1011.2480.3001.8118

代码解释

1. 路径相关设置调整：
   • 我的代码工作目录（E:\hw2024\hw5），明确指定了 work_dir 变量的值，后续加载模型、分词器等相关的路径都基于这个工作目录来进行合理设置，确保能正确找到对应的文件。例如，模型所在目录指定为训练代码中保存模型检查点的 checkpoint