HALOs 项目使用教程

HALOs 项目使用教程

HALOs A library with extensible implementations of DPO, KTO, PPO, and other human-aware loss functions (HALOs). 项目地址: https://gitcode.com/gh_mirrors/ha/HALOs

1. 项目介绍

HALOs（Human-Aware Loss Functions）是一个开源库，提供了多种人类感知损失函数（HALOs）的可扩展实现，包括DPO、KTO、PPO、ORPO等。这些损失函数旨在通过离线人类反馈来大规模对齐大型语言模型（LLMs）。HALOs项目被用于创建Archangel，这是迄今为止最大的人类反馈对齐LLMs套件，并在1B到30B的规模上进行了测试。

2. 项目快速启动

2.1 环境准备

首先，创建并激活conda环境：

conda env create -f environment.yml
conda activate halos

如果无法创建conda环境，可以尝试手动安装依赖：

conda create -n halos3 python=3.10.12
pip3 install numpy==1.24.3 ninja==1.11.1.1 packaging==23.1
conda install pytorch==2.1.1 pytorch-cuda=12.1 -c pytorch -c nvidia
pip3 install flash-attn==2.3.3 transformers==4.35.2 datasets hydra-core==1.3.2 wandb==0.15.3 openai==1.6.1 accelerate==0.21.0 tensor-parallel==1.2.4

2.2 模型训练

假设我们要实现一个新的HALO，名为Kahneman-Tversky优化（KTO）。首先，我们需要编写一个训练器。以下是一个简单的KTO训练器实现：

from trainers import UnpairedPreferenceTrainer
import torch

class SimpleKTOTrainer(UnpairedPreferenceTrainer):
    """A simple version of KTO meant to introduce you to the HALOs repo."""
    def loss(self, policy_chosen_logps: torch.FloatTensor, policy_rejected_logps: torch.FloatTensor,
             reference_chosen_logps: torch.FloatTensor, reference_rejected_logps: torch.FloatTensor) -> Tuple[torch.FloatTensor, torch.FloatTensor, torch.FloatTensor]:
        """Compute the Kahneman-Tversky loss for a batch of policy and reference model log probabilities."""
        # 你的实现代码
        return losses, chosen_rewards, rejected_rewards

2.3 配置文件

在config/loss文件夹中添加一个新的配置文件：

name: kto-simple
beta: 0.1  # 温度参数，较低的值表示我们不太关心参考模型
trainer: SimpleKTOTrainer  # 在trainers.py中实现
dataloader: UnpairedPreferenceDataLoader  # 已经在dataloaders.py中存在
use_reference_model: true  # 因为损失定义包括一个参考模型

2.4 开始训练

使用Hydra运行训练命令：

python train.py loss=kto-simple model=llama7b datasets=[shp,hh,oasst] exp_name=kto-simple_llama7b mode=train ++cache_dir=/data/models

3. 应用案例和最佳实践

3.1 案例1：使用HALOs对齐Llama-7B模型

通过HALOs项目，可以对Llama-7B模型进行微调，使其更好地对齐人类反馈。以下是一个完整的训练流程：

1. 数据准备：准备包含人类反馈的数据集。
2. 模型训练：使用HALOs提供的损失函数进行模型训练。
3. 模型评估：使用GPT-4作为裁判进行模型评估。

3.2 最佳实践

• 数据集选择：选择高质量的人类反馈数据集，如Anthropic HH或SHP。
• 超参数调优：根据具体任务调整损失函数的超参数，如beta。
• 多轮训练：可以进行多轮训练，逐步优化模型性能。

4. 典型生态项目

4.1 Archangel

Archangel是HALOs项目的主要应用之一，是一个大规模的人类反馈对齐LLMs套件。它通过HALOs提供的损失函数，对多个LLMs进行微调，使其更好地对齐人类反馈。

4.2 GPT-4评估工具

HALOs项目还提供了使用GPT-4作为裁判的评估工具，可以对训练后的模型进行自动评估，帮助开发者了解模型的性能。

通过以上步骤，你可以快速上手HALOs项目，并利用其强大的功能对齐大型语言模型。

HALOs A library with extensible implementations of DPO, KTO, PPO, and other human-aware loss functions (HALOs). 项目地址: https://gitcode.com/gh_mirrors/ha/HALOs