ChatGLM、ChatGLM2微调日记

微调是基于github的hiyouga/ChatGLM-Efficient-Tuning项目进行微调的。

环境搭建（略）

数据

我的数据是基于ChatGPT翻译的Alpaca数据集，大小为51K.数据格式如下。

之后需要要data_info.json中定义数据集。

微调

CUDA_VISIBLE_DEVICES=0 python /src/train_bash.py \
    --stage sft \
    --model_name_or_path ChatGLM-6B \
    --do_train \
    --dataset alpaca_zh \
    --finetuning_type lora \
    --output_dir FT-MODEL \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \