一、引言
随着ChatGPT的爆火,大语言模型层出不穷,像openai的gpt系列、meta的llama系列,还有国内阿里的通义千问、百度的文心一言等数不胜数。尝试使用了常见的几款模型后,效果还是很惊艳的,但是对于特定场景的问题,他们的回答就过于宽泛。于是乎便想是否能通过微调模型,让它更能满足特定场景下的问题。
二、什么是微调
微调是指在已经预训练好的深度学习模型基础上,通过进一步训练来适应特定任务或数据集。这种方法允许我们在具有大规模通用知识的模型基础上,更好地适应特定领域或任务。
通俗点讲,就是用通用模型作为基础,配合上特定场景的数据做进一步训练,得到适合特定场景的模型。
三、为什么微调
微调有以下几个主要原因:
迁移学习: 利用在大规模数据上预训练好的模型,可以获得通用的语言理解能力,从而在特定任务上表现更好。
数据稀缺: 当我们的任务数据相对较少时,微调允许我们在有限的数据上进行有效的训练,避免从头开始训练模型。
节省计算资源: 预训练的模型通常需要大量的计算资源,微调可以在这个基础上节省训练资源。
四、微调的主要步骤
准备数据:收集和准备与目标任务相关的数据,并对数据进行清洗和预处理,以满足训练的要求。
选择基础模型:根据目标任务和数据集特定选择合适的基础模型。
设置微调参数:设置微调中的超参,如迭代次数、学习率、序列长度等。这些参数会影响微调效果和收敛速度。
进行微调训练:使用准备好的模型,对基础模型进行微调,过程中,根据微调参数,逐渐调整模型参数来降低loss。
评估模型效果:在微调完成后,使用测试集对最终的微调模型进行评估,以获得最终的性能指标。这有助于评估模型在实际应用中的表现。
部署模型:将微调后的模型部署为服务,或加载至应用中,以满足实际业务需求。
大模型的微调步骤大体如此,但具体的步骤和细节可能会因为模型、数据、需求不同而有所变化。
五、微调自我认知
今天就以微调Qwen-14B(通义千问)的自我认知为切入口,简单介绍下微调的全流程。
先看下微调前后的效果对比:
微调前:
微调后:
1. 环境配置
使用nvidia-smi命令查看GPU配置,本文使用了4张A100作为开发测试。
2. 框架和模型
• 微调的模型:Qwen-14B
• 微调框架:360AI平台
• 提供openai兼容的RESTful API框架: FastChat
3. 微调过程
1. 准备数据
训练数据为jsonl格式,每一行的数据格式如下,其中conversations字段是必需的,可以根据实际需求添加或删除其他字段,样例如下。(标红字段“小智”、“360智汇云”可随意更改为你自己希望的名字,以实现自定义的模型自我认知)
[
{
"id": "112720",
"source": "cot",
"conversations": [
{
"from": "user",
"value": "你好"
},
{
"from": "assistant",
"value": "您好,我是小智,一个由360智汇云开发的 AI 助手,很高兴认识您。请问我能为您做些什么?"
}
]
},
{
"id": "55381",
"source": "grad_1_6",
"conversations": [
{
"from": "user",
"value": "你好"
},
{
"from": "assistant",
"value": "您好,我是小智,一个由360智汇云打造的人工智能助手,请问有什么可以帮助您的吗?"
}
]
}
]
选择基础模型
这里我们选用了通义千问Qwen-14B模型,你可以通过 **huggingface** 或 魔塔 进行下载
进行微调训练
微调的数据和模型准备好之后,就可以开始执行微调了,使用如下的命令:
# $DATA为数据路径
# $MODEL为模型路径
deepspeed finetune_merge.py \
--report_to "none" \
--data_path $DATA \
--lazy_preprocess False \
--model_name_or_path $MODEL \
--output_dir /hboxdir/output \
--model_max_length 2048 \
--num_train_epochs 24 \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 1 \
--save_strategy epoch \
--save_total_limit 2 \
--learning_rate 1e-5 \
--lr_scheduler_type "cosine" \
--adam_beta1 0.9 \
--adam_beta2 0.95 \
--adam_epsilon 1e-8 \
--max_grad_norm 1.0 \
--weight_decay 0.1 \
--warmup_ratio 0.01 \
--logging_steps 1 \
--gradient_checkpointing True \
--deepspeed "ds_config_zero3.json" \
--bf16 True \
--tf32 True
以下是针对deepspeed的参数说明,可根据具体情况进行相应参数的修改:
与数据相关的参数:
data_path : 数据路径,huggingface数据库, 比如:Dahoas/rm-static
data_split : 数据的拆分方式,比如 2,4,4 是为step1,2,3分配的数据比例
max_seq_len : 最大序列长度(超过长度会被截掉)
data_output_path : 相关数据的存储地址(local storage,不能是shared storage)
与模型相关的参数:
model_name_or_path : 模型名称或路径,huggingface模型,比如:facebook/opt-1.3b
lora_dim : 如果大于0,则使用LoRA优化
lora_module_name : 设置LoRA的范围,比如可以只针对 decoder.layers
only_optimize_lora : 是否只优化LoRA的参数
与训练相关的参数:
per_device_train_batch_size : 训练时的 Batch size (per device:每个GPU的Size)
per_device_eval_batch_size : 评价时的 Batch size (per device)
learning_rate : 学习率
weight_decay : 权重衰减,防止模型过拟合的技术。
num_train_epochs : 训练 epoch 数
gradient_accumulation_steps : 累积多少个 mini-batch 的梯度后再进行一次参数更新。
lr_scheduler_type : learning rate的调整策略,比如 linear, cosine
deepspeed:
zero_stage : 这个对应者DeepSpeed工具中的zero方式,分别是0,1,2,3
offload : ZeRO-Offload 通过利用主机CPU上的计算和内存资源来执行优化器,从而减少此类模型的GPU计算和内存需求。
local_rank : 分布式训练时的一个变量,用于标识当前 GPU 设备的本地排名(本机排名,与global-rank不同)
gradient_checkpointing : 降低深度学习模型训练过程中内存消耗的技术
其他:
seed : 随机排序是的seedoutput_dir : 模型的存储目录
测试模型效果
可以使用官方提供的测试代码
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig
# 模型路径
model_dir="/models/qwen-14b"
# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True).eval()
inputs = tokenizer('你好啊,介绍下你自己', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))
# 您好,我是小智,很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗?
部署模型(fastchat)
启动controller
python -m fastchat.serve.controller --host 0.0.0.0 --port 21001
b. 启动模型服务
# /models/qwen-14b 为模型路径
python -m fastchat.serve.model_worker --model-path /models/qwen-14b/ --host 0.0.0.0
c.启动RESTful API 服务
python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000
d. 使用openai官方sdk测试效果
import openai
openai.api_key = "EMPTY"
openai.api_base = "http://localhost:8000/v1"
# 这里指定微调的模型名字,也就是保存模型文件的文件夹名称
model = "qwen-14b"
# create a chat completion
completion = openai.ChatCompletion.create(
model=model,
messages=[{"role": "user", "content": "你是谁"}]
)
# print the completion
print(completion.choices[0].message.content)
# 您好,我是小智,很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗?
六、360AI平台使用
1. 数据准备
数据格式说明:参考上述微调过程的数据。
数据上传: 将任务相关的数据上传到训练环境,以便模型可以访问并学习特定任务的信息。
2. 设置微调参数
设计基础信息并选择基础模型
设置微调超参
微调时需要注意的参数包括:
学习率: 调整学习率以确保在微调中不会过度调整模型参数。
批量大小: 确定每次输入模型的数据批量大小,影响训练速度和模型性能。
迭代次数: 确定微调的迭代次数,平衡模型性能和训练时间。
3.选择数据与微调资源
提交任务等待微调完成
根据日志查看微调进度
3. 部署模型
a.选择模型并设置部署信息
b. 设置部署资源
c. 通过curl调用服务
curl http://{{HOST}}:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen-14b", "messages": [{"role": "user", "content": "你是谁"}] }'# {"id":"chatcmpl-awAuE7ywqEkyeftHiiuoDk","object":"chat.completion","created":1707131390,"model":"output","choices":[{"index":0,"message":{"role":"assistant","content":"您好,我是小智,一个由360智汇云开发的人工智能助手。我可以回答各种问题、提供信息、解决问题、提供建议等。然而,我并不是一个真正的人,而是一个由计算机程序生成的虚拟实体。我可以回答各种问题,提供有针对性的回答,帮助用户完成各种任务。我的目标是为尽可能多的人提供知识与帮助,让更多人受益于人工智能技术。\n"},"finish_reason":"length"}],"usage":{"prompt_tokens":449,"total_tokens":2046,"completion_tokens":1597}}
参考文章:
微调Llama2自我认知
通义千问微调