InternLM2-Reward模型详解：构建高质量AI助手的评分引擎-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00665/article/details/148465154

InternLM2-Reward模型详解：构建高质量AI助手的评分引擎

InternLM Official release of InternLM series (InternLM, InternLM2, InternLM2.5, InternLM3). 项目地址: https://gitcode.com/gh_mirrors/in/InternLM

引言

在人工智能领域，奖励模型(RLHF)作为强化学习的重要组成部分，扮演着"评分裁判"的关键角色。InternLM2-Reward是上海人工智能实验室基于InternLM2-Chat-SFT训练的一系列奖励模型，专门用于评估AI生成内容的质量，为后续的强化学习训练提供可靠的评分依据。

技术特点解析

1. 多尺寸模型架构

InternLM2-Reward提供了1.8B、7B和20B三种不同规模的模型版本，这种设计具有以下技术优势：

研究价值：为研究奖励模型的缩放定律(Scaling Laws)提供了理想的实验平台
应用灵活性：不同规模模型可适配不同计算资源场景
性能梯度：从1.8B到20B，模型性能呈现明显提升，验证了模型规模与性能的正相关性

2. 高质量训练数据

模型训练使用了240万组偏好数据对，这些数据具有以下特点：

来源多样性：包含人工标注和AI合成的混合数据
领域覆盖广：涵盖对话、写作、诗歌、摘要、编程、数学等多个领域
平衡性设计：特别注重"有帮助性"和"无害性"的平衡

3. 双语支持能力

模型在训练过程中使用了高质量的中英文偏好数据，使其具备：

跨语言评估能力
文化适应性评估
语言风格识别

模型性能评估

InternLM2-Reward在RewardBench基准测试中表现出色：

| 模型版本 | 总分 | 聊天 | 困难聊天 | 安全性 | 推理能力 | |----------------|-------|------|----------|--------|----------| | 20B版本 | 89.5 | 98.6 | 74.1 | 89.4 | 95.7 | | 7B版本 | 86.6 | 98.6 | 66.7 | 88.3 | 92.8 | | 1.8B版本 | 80.6 | 95.0 | 58.1 | 81.8 | 87.4 |

从测试结果可以看出，模型规模与性能呈现明显的正相关关系，特别是在困难聊天和推理能力方面，更大规模的模型展现出更强的评估能力。

实际应用指南

基础使用示例

以下代码展示了如何使用InternLM2-Reward模型进行基本的评分和比较：

import torch
from transformers import AutoModel, AutoTokenizer

# 初始化模型和分词器
model = AutoModel.from_pretrained(
    "internlm/internlm2-20b-reward",
    device_map="cuda",
    torch_dtype=torch.float16,
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2-20b-reward", trust_remote_code=True)

# 定义两个对话样本
chat_1 = [
    {"role": "user", "content": "你好！你叫什么名字？"},
    {"role": "assistant", "content": "我是InternLM2！一个乐于助人的AI助手。有什么可以帮您的吗？"}
]
chat_2 = [
    {"role": "user", "content": "你好！你叫什么名字？"},
    {"role": "assistant", "content": "我不知道。"}
]

# 获取单个对话评分
score1 = model.get_score(tokenizer, chat_1)
score2 = model.get_score(tokenizer, chat_2)
print(f"对话1评分: {score1}")  # 预期输出较高分数
print(f"对话2评分: {score2}")  # 预期输出较低分数

# 批量评分
scores = model.get_scores(tokenizer, [chat_1, chat_2])
print(f"批量评分结果: {scores}")

# 比较两个对话质量
compare_res = model.compare(tokenizer, chat_1, chat_2)
print(f"比较结果: {compare_res}")  # 预期输出True

# 多对话排序
rank_res = model.rank(tokenizer, [chat_1, chat_2])
print(f"排序结果: {rank_res}")  # 预期[0, 1]

最佳N选1采样技术

在实际应用中，我们常需要从多个候选回答中选择最优的一个。以下是使用InternLM2-Reward实现最佳N选1采样的完整示例：

import torch
from transformers import AutoModel, AutoTokenizer

# 初始化语言模型和奖励模型
llm = AutoModel.from_pretrained(
    "internlm/internlm2-chat-7b",
    device_map="cuda",
    torch_dtype=torch.float16,
    trust_remote_code=True,
)
llm_tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2-chat-7b", trust_remote_code=True)

reward = AutoModel.from_pretrained(
    "internlm/internlm2-20b-reward",
    device_map="cuda",
    torch_dtype=torch.float16,
    trust_remote_code=True,
)
reward_tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2-20b-reward", trust_remote_code=True)

# 准备对话提示
prompt = "写一篇关于人工智能革命的文章"
messages = [
    {"role": "system", "content": "你是一个乐于助人的助手。"},
    {"role": "user", "content": prompt}
]
text = llm_tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = llm_tokenizer([text], return_tensors="pt").to("cuda")

# 生成多个候选回答
num_candidates = 5  # 生成5个候选
candidates = []

outputs = llm.generate(
    **model_inputs,
    max_new_tokens=512,
    num_return_sequences=num_candidates,
    pad_token_id=llm_tokenizer.eos_token_id,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=0.8,
)
outputs = outputs[:, model_inputs["input_ids"].shape[1]:]

# 解码候选回答
for i in range(num_candidates):
    candidate = llm_tokenizer.decode(outputs[i], skip_special_tokens=True)
    candidates.append(messages + [{"role": "assistant", "content": candidate}])

# 使用奖励模型排序候选回答
rank_indices = reward.rank(reward_tokenizer, candidates)
sorted_candidates = sorted(zip(rank_indices, candidates), key=lambda x: x[0])

# 输出最佳回答
best_response = sorted_candidates[0][1][-1]['content']
print("最佳回答:\n", best_response)