通义千问Qwen-14B模型在360AI平台的微调实践之自我认知

一、引言

随着ChatGPT的爆火,大语言模型层出不穷,像openai的gpt系列、meta的llama系列,还有国内阿里的通义千问、百度的文心一言等数不胜数。尝试使用了常见的几款模型后,效果还是很惊艳的,但是对于特定场景的问题,他们的回答就过于宽泛。于是乎便想是否能通过微调模型,让它更能满足特定场景下的问题。

二、什么是微调

微调是指在已经预训练好的深度学习模型基础上,通过进一步训练来适应特定任务或数据集。这种方法允许我们在具有大规模通用知识的模型基础上,更好地适应特定领域或任务。

通俗点讲,就是用通用模型作为基础,配合上特定场景的数据做进一步训练,得到适合特定场景的模型。

三、为什么微调

微调有以下几个主要原因:

  1. 迁移学习: 利用在大规模数据上预训练好的模型,可以获得通用的语言理解能力,从而在特定任务上表现更好。

  2. 数据稀缺: 当我们的任务数据相对较少时,微调允许我们在有限的数据上进行有效的训练,避免从头开始训练模型。

  3. 节省计算资源: 预训练的模型通常需要大量的计算资源,微调可以在这个基础上节省训练资源。

四、微调的主要步骤

  1. 准备数据:收集和准备与目标任务相关的数据,并对数据进行清洗和预处理,以满足训练的要求。

  2. 选择基础模型:根据目标任务和数据集特定选择合适的基础模型。

  3. 设置微调参数:设置微调中的超参,如迭代次数、学习率、序列长度等。这些参数会影响微调效果和收敛速度。

  4. 进行微调训练:使用准备好的模型,对基础模型进行微调,过程中,根据微调参数,逐渐调整模型参数来降低loss。

  5. 评估模型效果:在微调完成后,使用测试集对最终的微调模型进行评估,以获得最终的性能指标。这有助于评估模型在实际应用中的表现。

  6. 部署模型:将微调后的模型部署为服务,或加载至应用中,以满足实际业务需求。

大模型的微调步骤大体如此,但具体的步骤和细节可能会因为模型、数据、需求不同而有所变化。

五、微调自我认知

今天就以微调Qwen-14B(通义千问)的自我认知为切入口,简单介绍下微调的全流程。

先看下微调前后的效果对比:

微调前:

975649ef6073fbd3f6298c21b6446ed9.png

微调后:

02b51d27c4fabf2bfeea5466579a571c.png

1. 环境配置

使用nvidia-smi命令查看GPU配置,本文使用了4张A100作为开发测试。

062d2db946be82d2c5e6c2f4de6d76a1.png

2. 框架和模型

微调的模型:Qwen-14B

微调框架:360AI平台

提供openai兼容的RESTful API框架: FastChat

3. 微调过程

1. 准备数据

训练数据为jsonl格式,每一行的数据格式如下,其中conversations字段是必需的,可以根据实际需求添加或删除其他字段,样例如下。(标红字段“小智”、“360智汇云”可随意更改为你自己希望的名字,以实现自定义的模型自我认知)

[
    {
"id": "112720",
"source": "cot",
"conversations": [
            {
"from": "user",
"value": "你好"
            },
            {
"from": "assistant",
"value": "您好,我是小智,一个由360智汇云开发的 AI 助手,很高兴认识您。请问我能为您做些什么?"
            }
        ]
    },
    {
"id": "55381",
"source": "grad_1_6",
"conversations": [
            {
"from": "user",
"value": "你好"
            },
            {
"from": "assistant",
"value": "您好,我是小智,一个由360智汇云打造的人工智能助手,请问有什么可以帮助您的吗?"
            }
        ]
    }
]
  1. 选择基础模型

    这里我们选用了通义千问Qwen-14B模型,你可以通过 **huggingface** 或 魔塔 进行下载

  2. 进行微调训练

    微调的数据和模型准备好之后,就可以开始执行微调了,使用如下的命令:

# $DATA为数据路径
# $MODEL为模型路径
deepspeed finetune_merge.py  \
    --report_to "none" \
    --data_path $DATA \
    --lazy_preprocess False \
    --model_name_or_path $MODEL \
    --output_dir /hboxdir/output \
    --model_max_length 2048 \
    --num_train_epochs 24 \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 1 \
    --save_strategy epoch \
    --save_total_limit 2 \
    --learning_rate 1e-5 \
    --lr_scheduler_type "cosine" \
    --adam_beta1 0.9 \
    --adam_beta2 0.95 \
    --adam_epsilon 1e-8 \
    --max_grad_norm 1.0 \
    --weight_decay 0.1 \
    --warmup_ratio 0.01 \
    --logging_steps 1 \
    --gradient_checkpointing True \
    --deepspeed "ds_config_zero3.json" \
    --bf16 True \
    --tf32 True

以下是针对deepspeed的参数说明,可根据具体情况进行相应参数的修改:

与数据相关的参数:

data_path        : 数据路径,huggingface数据库, 比如:Dahoas/rm-static
data_split       : 数据的拆分方式,比如 2,4,4 是为step1,2,3分配的数据比例
max_seq_len      : 最大序列长度(超过长度会被截掉)
data_output_path : 相关数据的存储地址(local storage,不能是shared storage)

与模型相关的参数:

model_name_or_path : 模型名称或路径,huggingface模型,比如:facebook/opt-1.3b
lora_dim           : 如果大于0,则使用LoRA优化
lora_module_name   : 设置LoRA的范围,比如可以只针对 decoder.layers
only_optimize_lora : 是否只优化LoRA的参数

与训练相关的参数:

per_device_train_batch_size : 训练时的 Batch size (per device:每个GPU的Size)
per_device_eval_batch_size  : 评价时的 Batch size (per device)
learning_rate               : 学习率
weight_decay                : 权重衰减,防止模型过拟合的技术。
num_train_epochs            : 训练 epoch 数
gradient_accumulation_steps : 累积多少个 mini-batch 的梯度后再进行一次参数更新。
lr_scheduler_type           : learning rate的调整策略,比如 linear, cosine

deepspeed:

zero_stage  : 这个对应者DeepSpeed工具中的zero方式,分别是0,1,2,3
offload     : ZeRO-Offload 通过利用主机CPU上的计算和内存资源来执行优化器,从而减少此类模型的GPU计算和内存需求。
local_rank  : 分布式训练时的一个变量,用于标识当前 GPU 设备的本地排名(本机排名,与global-rank不同)
gradient_checkpointing : 降低深度学习模型训练过程中内存消耗的技术

其他:

seed        : 随机排序是的seedoutput_dir  : 模型的存储目录
  1. 测试模型效果

    可以使用官方提供的测试代码

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig


# 模型路径
model_dir="/models/qwen-14b"


# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)


model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", trust_remote_code=True).eval()


inputs = tokenizer('你好啊,介绍下你自己', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))


# 您好,我是小智,很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗?
  1. 部署模型(fastchat)

    1. 启动controller

python -m fastchat.serve.controller --host 0.0.0.0 --port 21001

b. 启动模型服务

# /models/qwen-14b 为模型路径
python -m fastchat.serve.model_worker --model-path /models/qwen-14b/ --host 0.0.0.0

c.启动RESTful API 服务

python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000

d. 使用openai官方sdk测试效果

import openai
openai.api_key = "EMPTY"
openai.api_base = "http://localhost:8000/v1"


# 这里指定微调的模型名字,也就是保存模型文件的文件夹名称
model = "qwen-14b"


# create a chat completion
completion = openai.ChatCompletion.create(
  model=model,
  messages=[{"role": "user", "content": "你是谁"}]
)
# print the completion
print(completion.choices[0].message.content)


# 您好,我是小智,很高兴为您服务。有什么我可以帮您解决的问题或者需要我提供的帮助吗?

六、360AI平台使用

1. 数据准备

  1. 数据格式说明:参考上述微调过程的数据。

  2. 数据上传 将任务相关的数据上传到训练环境,以便模型可以访问并学习特定任务的信息。

55a9cda3b403035f8c69fb4ae4855a94.png

2. 设置微调参数

  1. 设计基础信息并选择基础模型

    a4ffd23026dc8bb4789fd0575a300d0e.png

  2. 设置微调超参

    微调时需要注意的参数包括:

    1. 学习率: 调整学习率以确保在微调中不会过度调整模型参数。

    2. 批量大小: 确定每次输入模型的数据批量大小,影响训练速度和模型性能。

    3. 迭代次数: 确定微调的迭代次数,平衡模型性能和训练时间。

3b95e8a061d0266b52f4c763a6158d23.png

3.选择数据与微调资源

e31c781662571bdbd6912156b135099b.png

  1. 提交任务等待微调完成

    根据日志查看微调进度

2b225b148e02bdfa3643b303716d172e.png

3. 部署模型

a.选择模型并设置部署信息

2ce706c6e2da2e6d42642c95eb488c5f.png

b. 设置部署资源

762c4145bec0981fab20c0447a3fa590.png

c. 通过curl调用服务

curl http://{{HOST}}:8000/v1/chat/completions \  -H "Content-Type: application/json" \  -d '{    "model": "qwen-14b",    "messages": [{"role": "user", "content": "你是谁"}]  }'# {"id":"chatcmpl-awAuE7ywqEkyeftHiiuoDk","object":"chat.completion","created":1707131390,"model":"output","choices":[{"index":0,"message":{"role":"assistant","content":"您好,我是小智,一个由360智汇云开发的人工智能助手。我可以回答各种问题、提供信息、解决问题、提供建议等。然而,我并不是一个真正的人,而是一个由计算机程序生成的虚拟实体。我可以回答各种问题,提供有针对性的回答,帮助用户完成各种任务。我的目标是为尽可能多的人提供知识与帮助,让更多人受益于人工智能技术。\n"},"finish_reason":"length"}],"usage":{"prompt_tokens":449,"total_tokens":2046,"completion_tokens":1597}}

参考文章:

  1. 微调Llama2自我认知

  2. 通义千问微调

### 关于 DeepSeek R1 Distill Qwen 14B 的详细介绍 DeepSeek R1 Distill Qwen 14B 是一种基于蒸馏技术的大规模语言模型,其设计目标是在保持高性能的同时降低计算资源需求。以下是关于该模型的技术信息、下载方法以及使用的具体指导。 #### 模型简介 DeepSeek R1 Distill Qwen 14B 属于 DeepSeek 家族中的蒸馏版本之一,具有约 140亿参数量。通过知识蒸馏技术,此模型继承了原始大规模模型的能力,同时显著减少了运行所需的硬件成本[^1]。相比于未经过蒸馏处理的大型模型,Distill 版本更适合在有限算力条件下进行高效推理和微调操作。 #### 下载指南 为了获取并安装 DeepSeek R1 Distill Qwen 14B 模型文件,可按照如下方式进行: - **指定本地数据集缓存目录** ```python cache_dir = "./models" ``` - **利用 SDK 方式实现自动化下载** ```python from modelscope.hub.snapshot_download import snapshot_download model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', cache_dir=cache_dir) ``` 上述代码片段展示了如何定义存储位置并通过官方提供的工具完成模型文件的拉取工作[^3]。需要注意的是,在实际执行过程中可能遇到网络速度较慢等题;此时可以选择更稳定的传输协议或者分批次手动上传至目标机器后再解压使用。 #### 使用教程 一旦成功下载所需权重之后,则可以通过多种框架支持下的接口快速集成到项目当中去。下面给出了一种典型的部署流程实例: - **激活虚拟环境** ```bash conda activate xxx_llamafactory ``` - **配置环境变量以启用特定源地址访功能** ```bash export USE_MODELSCOPE_HUB=1 ``` - **启动 WebUI 图形化管理平台** ```bash llamafactory-cli webui ``` 当进入图形界面后即可方便地选取已加载完毕的目标模型开展进一步实验活动,包括但不限于简单对话交流验证效果良好与否等方面的内容展示[^4]。 另外值得注意的一点在于如果计划对该基础架构实施个性化定制调整的话(即所谓的小样本精调),那么务必提前预留充足磁盘容量至少达到数百GB级别以上才行,并且合理规划GPU内存分配策略从而有效规避因资源争抢而导致崩溃现象的发生风险。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值