采用LoRA方法微调llama3大语言模型

JACK_GEN123

已于 2024-05-22 11:25:10 修改

阅读量3.1k

点赞数 14

分类专栏：微调LLM 文章标签：语言模型人工智能自然语言处理

于 2024-05-22 11:20:16 首次发布

本文链接：https://blog.youkuaiyun.com/JACK_GEN123/article/details/138888894

版权

文章目录

前言
一、Llama3模型简介
二、LoRA微调Llama3
三、测试新模型效果
- 1.编写配置文件
- 2.运行配置文件：
总结

前言

因为上篇文章点赞数超过1，所以今天继续更新llama3微调方法。先介绍一下如何与本地llama3模型交互，再介绍如何使用torchtune和LoRA方式微调llama3，最后介绍一下如何用torchtune与llama3模型交互。

一、Llama3模型简介

目前llama3开源的模型有Meta-Llama-3-8B、Meta-Llama-3-8B-Instruct、Meta-Llama-3-70B和Meta-Llama-3-70B-Instruct。这里Meta-Llama-3-8B是参数规模为80亿的预训练模型（pretrained model），Meta-Llama-3-8B-Instruct是80亿参数经过指令微调的模型（instruct fine-tuned model）；对应的，后两个模型就是对应700亿参数的预训练和指令微调模型。那么，预训练模型和指令微调模型有什么区别呢？我们来跟她们对话一下就明白了。

1.下载llama3源码到linux服务器

git clone https://github.com/meta-llama/llama3.git

2.安装依赖

最好先用anaconda创建一个专门为微调模型准备的python虚拟环境，然后运行命令：

cd llama3
pip install -e .

3.测试预训练模型Meta-Llama-3-8B

torchrun --nproc_per_node 1 example_text_completion.py
–ckpt_dir Meta-Llama-3-8B/
–tokenizer_path Meta-Llama-3-8B/tokenizer.model
–max_seq_len 128 --max_batch_size 4

参数解释：
–ckpt_dir 模型权重所在文件夹路径，一般后缀为.pt、.pth或.safetensors
–tokenizer_path 分词器路径，必须带上分词器名称，例如tokenizer.model
–max_seq_len 输出的最大序列长度，这个在预训练模型的调用中是必带参数
–max_batch_size 每个批次包含的最大样本数

下图是模型的输出结果，当我输入英文"I believe the meaning of life is"时，模型会输出"to love. It is to love others, to love ourselves, and to love God. Love is the meaning of life blablabla"。
llama3预训练模型的输出
很明显，预训练模型Meta-Llama3-8B是对用户输入的一个续写。

4.测试指令微调模型Meta-Llama3-8B-Instruct

torchrun --nproc_per_node 1 example_chat_completion.py
–ckpt_dir /data/jack/Meta-Llama-3-8B-Instruct/original/
–tokenizer_path /data/jack/Meta-Llama-3-8B-Instruct/original/tokenizer.model
–max_seq_len 512 --max_batch_size 4
参数解释：
–max_seq_len 输出的最大序列长度，这个对指令微调模型是可选参数，不设置指令微调模型也会在问答中自动停止输出

如上图所示，Meta-Llama-3-8B-Instruct模型面对用户的提问，会给出合适的回答。