LLaMA-TRL: 使用PPO和LoRA进行LLaMA微调的开源项目

LLaMA-TRL: 使用PPO和LoRA进行LLaMA微调的开源项目

llama-trl LLaMA-TRL: Fine-tuning LLaMA with PPO and LoRA 项目地址: https://gitcode.com/gh_mirrors/ll/llama-trl

1. 项目介绍

LLaMA-TRL是一个开源项目，旨在通过PPO（Proximal Policy Optimization）和LoRA（Low-Rank Adaption of Large Language Models）技术对LLaMA模型进行微调。LLaMA（Language Model for Machine Translation and other Applications）是一种大型语言模型，本项目通过参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）技术，使得微调过程更加高效。

2. 项目快速启动

环境准备

在开始之前，请确保您的环境中已经安装了以下依赖：

• Python
• PyTorch
• Transformers
• DeepSpeed (可选，用于全权重微调)

您可以通过以下命令安装项目所需的依赖：

pip install -r requirements.txt

步骤 1 - 监督微调

运行以下命令开始监督微调：

torchrun --nnodes 1 --nproc_per_node 8 supervised_finetuning.py \
--base_model 'decapoda-research/llama-7b-hf' \
--dataset_name './data/alpaca_gpt4_data.json' \
--streaming \
--lr_scheduler_type 'cosine' \
--learning_rate 1e-5 \
--max_steps 4000 \
--output_dir './checkpoints/supervised_llama/'

如果要使用DeepSpeed进行全权重微调，可以运行：

pip install deepspeed
torchrun --nnodes 1 --nproc_per_node 8 supervised_finetuning_full_weight.py \
--base_model 'decapoda-research/llama-7b-hf' \
--dataset_name './data/alpaca_gpt4_data.json' \
--streaming \
--lr_scheduler_type 'cosine' \
--learning_rate 2e-5 \
--weight_decay 0. \
--warmup_ratio 0.03 \
--seq_length 1024 \
--batch_size 4 \
--gradient_accumulation_steps 8 \
--eval_freq 2000 \
--save_freq 2000 \
--max_steps 4000 \
--save_total_limit 1 \
--deepspeed "./configs/default_offload_opt_param.json" \
--run_name 'llama-7b-sft-full-weight' \
--output_dir './checkpoints/supervised_llama_full_weight/'

步骤 2 - 训练奖励模型

运行以下命令训练奖励模型：

torchrun --nnodes 1 --nproc_per_node 8 training_reward_model.py \
--model_name 'decapoda-research/llama-7b-hf' \
--dataset_name './data/comparison_data.json' \
--output_dir './checkpoints/training_reward_model/'

步骤 3 - 使用PPO进行模型调优

运行以下命令开始使用PPO进行模型调优：

accelerate launch --multi_gpu --num_machines 1 --num_processes 8 \
tuning_lm_with_rl.py \
--log_with wandb \
--model_name <LLAMA_FINETUNED_MODEL> \
--reward_model_name <LLAMA_RM_MODEL> \
--adafactor False \
--tokenizer_name <LLAMA_TOKENIZER> \
--save_freq 100 \
--output_max_length 128 \
--batch_size 8 \
--gradient_accumulation_steps 8 \
--batched_gen True \
--ppo_epochs 4 \
--learning_rate 1.4e-5 \
--early_stopping True \
--output_dir './checkpoints/tuning_llama_rl/'

请将<LLAMA_FINETUNED_MODEL>、<LLAMA_RM_MODEL>和<LLAMA_TOKENIZER>替换为相应的模型名称和路径。

3. 应用案例和最佳实践

• 案例1：使用LLaMA-TRL进行对话系统微调，以提升生成对话的自然性和准确性。
• 案例2：在内容生成场景中，通过微调LLaMA模型，实现更加丰富多样且符合用户需求的内容输出。

最佳实践：

• 在微调过程中，合理选择数据集和超参数，以获得最佳性能。
• 使用DeepSpeed进行全权重微调，以提高训练效率和减少资源消耗。

4. 典型生态项目

• Hugging Face：提供模型存储和推理服务，便于用户使用微调后的LLaMA模型。
• Weights & Biases：用于追踪实验和结果，方便用户监控训练过程和性能指标。

以上就是LLaMA-TRL项目的简要介绍和快速启动指南。希望对您有所帮助！

llama-trl LLaMA-TRL: Fine-tuning LLaMA with PPO and LoRA 项目地址: https://gitcode.com/gh_mirrors/ll/llama-trl