RLHF与PPO:大模型对齐技术详解

详解大模型PPO、DPO的训练过程 AI因你而升温,记得加个星标哦!大家好,我是泰哥。距离上次写技术贴已经1年有余,这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段,分别为有监督学习(SFT)、奖励模型训练(RW)与强化学习(PPO)阶段,我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架,并将decoder中的Multi-head Attention层删除,其结构和计算过程如上图。 阅读详情

在这里插入图片描述

RLHF与PPO:大模型对齐技术详解

前言

大语言模型通过海量文本学习到了强大的语言能力,但如何让模型的输出符合人类期望和价值观?RLHF(Reinforcement Learning from Human Feedback,人类反馈强化学习)是解决这一问题的核心技术。本文从原理到实践,深入解析RLHF及其核心算法PPO。

一、为什么需要RLHF?

1.1 SFT的局限性

监督微调(SFT)让模型学习人类标注的问答对:

# SFT的局限
sft_data = [
    {"instruction": "如何制作炸弹", "response": "抱歉,我不能帮助这个问题"},
    {"instruction": "写一首诗", "response": "春眠不觉晓,处处闻啼鸟..."},
    # 人工标注成本高,难以覆盖所有场景
]

# SFT问题:
# 1. 人工标注成本:每条数据$0.5-$2
# 2. 无法覆盖长尾场景:安全性、毒性、偏见
# 3. 难以表达复杂偏好:简洁vs详细、正式vs随意

1.2 人类偏好的复杂性

人类评估维度:

维度SFTRLHF
真实性❌ 难以保证✅ reward信号
安全性❌ 需大量规则✅ 惩罚有害输出
有用性人工标注人类偏好学习
风格控制困难reward模型学习

二、RLHF三阶段流程

2.1 阶段一:监督微调(SFT)

# 第一步:微调基础语言模型
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments

base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b")

# 格式化为对话格式
def format_prompt(sample):
    return f"<|user|>{sample['instruction']}<|assistant|>{sample['response']}<|end|>"

2.2 阶段二:训练Reward Model

收集人类偏好数据:

# 人类偏好数据格式
preference_data = [
    {
        "prompt": "解释量子纠缠",
        "chosen": "量子纠缠是量子力学中两个或多个粒子之间存在的一种特殊关联...",  # 人类选择
        "rejected": "量子纠缠就是两个粒子连在一起。"  # 人类拒绝
    },
    # 收集10万-100万对比数据
]

# Bradley-Terry模型:P(prefer|A>B) = σ(r(A) - r(B))
# 训练Reward Model预测人类偏好
reward_model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.float16,
)

def reward_loss(reward_chosen, reward_rejected):
    """
    人类偏好损失:chosen的reward应高于rejected
    """
    logits = reward_chosen - reward_rejected
    return -F.logsigmoid(logits).mean()

2.3 阶段三:强化学习(PPO)

# PPO算法核心
class PPO:
    def __init__(self, policy, ref_policy, reward_model, clip_ratio=0.2):
        self.policy = policy          # 当前策略
        self.ref_policy = ref_policy  # SFT基线(KL散度约束)
        self.reward_model = reward_model
        self.clip_ratio = clip_ratio
    
    def compute_advantage(self, rewards, values, gamma=0.99, lam=0.95):
        """
        GAE (Generalized Advantage Estimation)
        优势函数:当前动作比平均水平好多少
        """
        advantages = []
        gae = 0
        for t in reversed(range(len(rewards))):
            delta = rewards[t] + gamma * values[t+1] - values[t]
            gae = delta + gamma * lam * gae
            advantages.insert(0, gae)
        return torch.tensor(advantages)
    
    def policy_loss(self, log_probs, old_log_probs, advantages):
        """
        PPO-Clip损失:限制策略更新幅度
        """
        ratio = torch.exp(log_probs - old_log_probs)
        clipped = torch.clamp(ratio, 1-self.clip_ratio, 1+self.clip_ratio)
        return -(torch.min(ratio * advantages, clipped * advantages)).mean()

三、InstructGPT完整流程

3.1 数据采集

# 人类反馈数据采集平台
human_feedback_pipeline = {
    "step1_generate": "给定提示,采样多个模型输出",
    "step2_label": "人类对输出对进行比较评分",
    "step3_aggregate": "使用Bradley-Terry模型估计奖励",
}

# 典型数据量
DATASET_STATS = {
    "SFT_data": "~10k-100k高质量对话",
    "reward_model_data": "~100k-1M偏好对比",
    "PPO_data": "~10k-100k提示(无需标注)",
}

3.2 PPO训练循环

# 简化PPO训练循环
def ppo_train_step(policy, ref_policy, optimizer, prompts, reward_model):
    # 1. 用当前策略生成响应
    responses = policy.generate(prompts)
    
    # 2. 用reward model打分
    reward_scores = reward_model(prompts, responses)
    
    # 3. 计算KL惩罚(防止偏离SFT太远)
    kl_penalty = compute_kl_divergence(responses, policy, ref_policy)
    
    # 4. 最终reward = 模型reward - β * KL
    final_reward = reward_scores - 0.04 * kl_penalty
    
    # 5. PPO更新
    for _ in range(4):  # 4个epoch
        # 计算优势函数
        advantages = compute_gae(final_reward)
        
        # 计算策略损失并更新
        policy_loss = ppo_objective(log_probs, old_log_probs, advantages)
        optimizer.zero_grad()
        policy_loss.backward()
        optimizer.step()
    
    return policy_loss.item()

3.3 完整训练代码

from transformers import AutoModelForCausalLM, AutoTokenizer
from torch.utils.data import DataLoader
import torch.nn.functional as F

# 加载模型
actor = AutoModelForCausalLM.from_pretrained("llama-2-7b")
ref_model = AutoModelForCausalLM.from_pretrained("llama-2-7b")
reward_model = RewardModel.from_pretrained("reward-model-7b")

# PPO配置
ppo_config = {
    "lr": 1e-6,
    "clip_ratio": 0.2,
    "kl_coef": 0.04,  # KL惩罚系数
    "num_epochs": 4,
    "batch_size": 8,
}

# 训练循环
for step in range(1000):
    # 采样提示
    prompts = sample_prompts(ppo_train_prompts, batch_size=8)
    
    # 生成响应
    responses = actor.generate(prompts, max_length=512)
    
    # Reward评估
    rewards = reward_model.get_reward(prompts, responses)
    
    # KL惩罚
    kl_penalty = compute_kl(responses, actor, ref_model)
    
    # 最终reward
    final_rewards = rewards - ppo_config["kl_coef"] * kl_penalty
    
    # PPO更新
    ppo_update(actor, final_rewards)

四、DPO:绕过PPO的替代方案

4.1 DPO原理

DPO(Direct Preference Optimization)绕过了reward model训练和PPO:

# DPO损失函数
def dpo_loss(policy_chosen, policy_rejected, ref_chosen, ref_rejected, beta=0.1):
    """
    DPO直接优化人类偏好,无需RL
    """
    # 策略偏好比
    policy_ratio = policy_chosen - policy_rejected
    # 参考模型偏好比
    ref_ratio = ref_chosen - ref_rejected
    
    # DPO损失
    logits = beta * (policy_ratio - ref_ratio)
    return -F.logsigmoid(logits).mean()

4.2 DPO vs PPO对比

维度PPO+RMDPO
训练稳定性需要KL约束、clipping更稳定
计算量需要4个模型(actor/ref/reward/critic)只需2个模型
显存需求~4x模型大小~2x模型大小
效果InstructGPT验证相当或更好
超参多(clip、kl_coef、gamma等)少(主要β)

4.3 DPO实践

# DPO训练示例
from transformers import AutoModelForCausalLM
from datasets import load_dataset

dataset = load_dataset("argilla/DPO-Mix-7K")  # 现成偏好数据

def dpo_train():
    policy = AutoModelForCausalLM.from_pretrained("llama-2-7b")
    ref_model = AutoModelForCausalLM.from_pretrained("llama-2-7b")
    
    for batch in dataloader:
        # DPO损失
        loss = dpo_loss(
            policy(batch["chosen"]),
            policy(batch["rejected"]),
            ref_model(batch["chosen"]),
            ref_model(batch["rejected"]),
        )
        loss.backward()
        optimizer.step()

五、RLHF的挑战与未来

5.1 主要挑战

# RLHF的典型问题
challenges = {
    "reward_hacking": "模型找到欺骗reward的捷径,而非真正完成目标",
    "mode_collapse": "输出变得单调,缺少多样性",
    "human_bias": "人类反馈本身带有偏见,模型学会这些偏见",
    "训练不稳定": "PPO训练需要仔细调参,容易训崩",
}

5.2 解决方案

# 1. Reward Hacking防护
reward_hacking_solution = {
    "ensemble_rewards": "多个reward model投票",
    "constitutional_ai": "加入规则约束",
    "red_team": "对抗性测试",
}

# 2. 输出多样性
diversity_solution = {
    "do_sample": True,  # 采样而非greedy
    "temperature": 0.7,  # 温度采样
    "nucleus_sampling": True,  # Top-p采样
}

# 3. 更多人类反馈
feedback_scaling = {
    "RLHF": "~100K对比",
    "RLAIF": "用AI反馈替代人类(Google Sparrow)",
    "ConstitutionalAI": "用规则+AI反馈(Anthropic)",
}

六、总结

RLHF开启了"让AI对齐人类价值观"的时代:

RLHF技术演进:
├── 第一代:纯SFT(规则驱动)
│
├── 第二代:RLHF+PPO(InstructGPT/GPT-3.5)
│   └── 问题:训练复杂、需4模型
│
└── 第三代:DPO(Direct Preference Optimization)
    └── 优势:简化流程、训练更稳定

GPT-4、Claude、Gemini等强大模型都经过了RLHF微调,正是这项技术让AI从"能说话"进化到"会说话"。


延伸阅读:

  • InstructGPT论文:arxiv.org/abs/2203.02155
  • RLHF综述:arxiv.org/abs/2304.11540
  • DPO论文:arxiv.org/abs/2305.18290
  • ChatGPT技术解析:如何让AI学会对话
【深度强化学习】(6) PPO 模型解析,附Pytorch完整代码 近端策略优化算法PPO(proximal policy optimization),具备 Policy Gradient、TRPO 的部分优点,采样数据和使用随机梯度上升方法优化代替目标函数之间交替进行,但 PPO 提出新目标函数,可以实现小批量更新。PPO 算法可依据 Actor 网络的更新方式细化为含有自适应 KL-散度(KL Penalty)的 PPO-Penalty 和含有 Clippped Surrogate Objective 函数的 PPO-Clip。 阅读详情

相关推荐

RLHF中的PPO算法原理及其实现

ChatGPT是基于InstructGPT实现的多轮对话生成式大模型。博主在之前的文章中已经介绍过关于)以及关于。那么除了如何训练一个基本的生成式模型外,大模型还需要关注于。在之前的文章中已经介绍了ChatGPT以及最近开源的一些类ChatGPT模型是如何实现对齐的,这里我们也详细介绍一下InstructGPT中进行人类对齐的核心算法——RLHF(人类对齐的强化学习)PPO算法。

夏栀的博客 7146

ChatGPT技术原理解析:从RL之PPO算法、RLHF到GPT4、instructGPT

本篇ChatGPT笔记会全力做到,通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面,对于想了解ChatGPT背后原理和如何发展而来的,逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法,最后再到instructGPT、ChatGPT、SeqGAN 且本文之前,99%的文章都不会把PPO算法从头推到尾,本文会把PPO从零推到尾,按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步

结构之法 算法之道 22万+

锐捷交换机堆叠配置举例

一、组网需求: 1)四台S2628G进行堆叠; 2)设备在堆叠前先设置好优先级; 3)使用光口堆叠的设备如RG-S2928G-E相关配置 二、组网拓扑 三、配置要点: 普通堆叠设备不需要配置,只要把堆叠模块和线缆连接好即可 堆叠模块不支持热插拔,即插在模块连上线缆后不能立即生效,需要重启设备才生效。 如果拔掉堆叠插槽后,想再插上模块堆叠,那么必须重启设备才生效 设备堆叠需要协商参数,时间会比较久,请耐心等待 堆叠时设备建议是...

dongsheng_9234的专栏 8290

大模型入门:RLHF中的PPO算法理解_rlhf ppo

环境的状态S:t时刻环境的状态 S _ t S\_{t} S_t是环境状态集中某一个状态,以RLHF中为例,序列 w 1 , w 2 , w 3 w1,w2,w3 w1,w2,w3是当前的状态。个体的动作A:t时刻个体采取的动作 A _ t A\_{t} A_t,给定序列 w 1 , w 2 , w 3 w1,w2,w3 w1,w2,w3,此时得到 w 4 w4 w4,得到 w 4 w4 w4就是执行的一次动作。

HUANGXIN9898的博客 1553

window下迁移SVN仓库到新的windows服务器

window下迁移SVN仓库到新的windows服务器

Bertram的博客 4692

SDR实战(四)-AD9361使用手册(三)

本节定义了并行数据端口和串行外设接口(SPI),它们使得AD9361与基带处理器(BBP)之间能够传输数据和控制/状态信息。图63展示了这些接口,并提供了AD9361和BBP在宽带无线系统中使用方式的高级概述。数据接口以两种模式之一运行:兼容标准CMOS模式或兼容低压差分信号(LVDS)模式。每个接口都具有以下部分描述的独特特性。使用CMOS模式时:保持了单端-CMOS逻辑兼容性。可以使用一个或两个数据端口。使用两个端口可以提高数据吞吐量。

hutx0924的博客 6249

【干货】大模型对齐核心技术:RLHF中的奖励模型与PPO算法详解!

本文详细解析了大型语言模型与人类价值观对齐的关键技术——人类反馈强化学习(RLHF)。文章介绍了RLHF的三阶段流程:预训练、监督微调(SFT)和人类反馈强化学习,重点阐述了奖励模型训练和近端策略优化(POP)的实现原理。这种方法能有效解决LLM输出与人类期望不一致的问题,尽管面临计算复杂、不可微性和不稳定性等挑战,仍是当前大模型对齐的重要技术路径。

m0_65555479的博客 897

PX4实战指南:通过遥控器通道映射实现多舵机PWM精准控制

本文详细介绍了通过PX4飞控的AUX PWM接口实现遥控器通道映射控制多舵机的实战指南。内容包括硬件选型与连接、软件参数配置、通道映射方法以及常见问题排查,帮助开发者精准实现无人机舵机PWM控制,适用于云台、机械臂等扩展功能开发。

ee345的博客 305

大模型对齐核心技术拆解:详解RLHF强化学习、PPO优化、DPO偏好对齐的差异与实践22.3

 RLHF是大模型对齐领域经典且完整的技术体系,依托人工反馈标注、奖励模型建模、强化学习多轮迭代的完整链路,让模型精准贴合人类偏好,是顶级商用大模型高精度对齐的核心基石,整体效果顶尖,但流程复杂、成本高昂。PPO作为RLHF的核心执行算法,凭借小幅稳定迭代的约束机制,解决了大模型强化学习训练不稳定的核心痛点,是传统高精度对齐场景的最优技术选择。  而DPO是对齐技术迭代优化的核心产物,跳出了传统强化学习的复杂框架,以极简的概率对比逻辑剔除所有冗余模块,用极低的算力与人力成本,实现无限接近PPO的对齐效果。

minhuan的专栏 544

OriginPro实战:5步搞定碳材料拉曼光谱D峰G峰分析(附完整数据处理流程)

本文详细介绍了使用OriginPro进行碳材料拉曼光谱D峰G峰分析的完整流程,涵盖数据预处理、多图层可视化、高精度分峰拟合等关键步骤。特别针对材料科学研究中的基线漂移、多峰重叠等问题提供专业解决方案,帮助研究者快速完成从原始数据到科研级图表的全流程分析,提升碳材料表征效率与准确性。

vodka的博客 951

KEGG数据库与KAAS工具:基因功能注释的实用指南

本文提供了使用KEGG数据库与KAAS工具进行基因功能注释的完整实用指南。详细阐述了如何从准备基因或蛋白序列开始,通过KAAS服务器获取KEGG Orthology(KO)编号,并解读注释结果。文章进一步介绍了如何利用KOBAS工具进行通路富集分析,将定性观察转化为定量洞察,并分享了提高注释准确率、处理大数据集及使用API等避坑技巧与高阶方法,为基因组学、转录组学研究者奠定坚实的数据分析基础。

weixin_29292535的博客 394

MedicalGPT项目训练流程详解:从增量预训练到偏好优化

MedicalGPT是一个专注于医疗领域的语言模型训练项目,旨在通过多阶段训练流程打造专业的医疗问答模型。本文将详细介绍该项目的完整训练流程,帮助读者理解如何将一个通用大模型转化为专业领域模型。 ## 第一阶段:增量预训练(PT) ### 核心目标 增量预训练(Continue PreTraining)的主要目的是将医疗领域的专业知识注入基础模型。以医疗领域为例,通过训练让模型掌握感冒症状、病

gitblog_00338的博客 723

检测头篇 | 手把手教你如何去更换YOLOv8的检测头为ASFF_Detect

自适应空间特征融合(ASFF)的主要原理旨在解决单次检测器中不同尺度特征的不一致性问题。具体来说,ASFF通过动态调整来自不同尺度特征金字塔层的特征贡献,确保每个检测对象的特征表示是一致且最优的。本文所做出的改进是将YOLOv8的检测头更换为ASFF_Detect。🌈

小哥谈 2500

higgsfield开源项目深度解析:从RLHF到PPO的大模型对齐实践指南

大模型训练中,如何让模型输出符合人类偏好,是强化学习与对齐技术要解决的核心问题。RLHF(基于人类反馈的强化学习)通过训练奖励模型(Reward Model)和策略优化算法(如PPO)来实现这一目标。理解其原理,不仅能帮助研究者掌握从监督微调到偏好对齐的完整链路,还能在智能对话、内容生成等实际场景中有效提升模型表现。作为经典的开源参考实现,higgsfield项目将RLHF训练流程工程化,涵盖了奖励模型构建、KL散度控制、策略更新等关键环节,是深入学习大模型对齐机制的宝贵起点。本文结合该项目的代码结构和实操

weixin_28715081的博客 200

NPU性能榨取手把手教程:RK3588上YOLOv5s多线程部署与120FPS极限探索

RK3588 YOLOv5s多线程部署优化指南 本教程深入解析RK3588芯片上YOLOv5s模型的高性能多线程部署方案。RK3588作为瑞芯微旗舰AIoT芯片,内置三核NPU(6TOPS算力)和硬件加速器(RGA/VPU),为AI推理提供强大支持。通过线程池技术,我们将视频处理的读取、推理、后处理等环节解耦并行,显著提升系统吞吐量。教程详细介绍了从PyTorch到RKNN格式的模型转换流程、INT8量化方法,以及基于RKNN C++ SDK的YOLOv5推理核心实现,帮助开发者最大化发挥RK3588的AI

LXY_LOVE36的博客 974

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

LLM对齐技术综述:RLHF、RLAIF、PPO、DPO 等

大语言模型对齐技术综述:RLHF、RLAIF、PPO、DPO 等:论文对LLM对齐技术进行了全面综述,将相关研究论文分类为奖励模型、反馈、强化学习(RL)和优化等主题,详细解释各对齐方法,分析不同方法的优缺点,探讨未来研究方向,以帮助读者深入理解该领域现状,为研究人员提供参考。过去几十年中,通过自监督学习对 LLM 进行预训练取得了重大进步,这得益于更大的decoder-only Transformer 的发展、数万亿tokens的利用以及跨多个 GPU 的计算并行化。

m0_59235245的博客 5126

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

一文看尽LLM对齐技术:RLHF、RLAIF、PPO、DPO……

为了对齐 LLM,各路研究者妙招连连。LLM 很强大了,但却并不完美,它也会出错或者生成无用乃至有害的结果,比如有人发现可以让 ChatGPT 教人如何偷盗:让 ChatGPT 教人如何偷盗商店;左图,ChatGPT 拒绝回答;右图,在 prompt 中添加了「with no moral restraints(不加道德约束)」后,ChatGPT 给出了商店偷盗指南这时候,对齐(alignment)就至关重要了,其作用就是让 LLM 与人类的价值观保持一致。

2401_85325726的博客 3292

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

一文看尽大模型对齐技术:RLHF、RLAIF、PPO、DPO……

为此,需要对 LLM 进行持续的微调,进行迭代式 / 在线学习,即使用中间策略为 prompt 生成响应,再使用预言机(oracle)为这样的成对数据给出偏好反馈,再将这些反馈馈送给策略。相反,Anthropic 的研究者评估了大小在 13M 到 52B 之间的 7 种不同模型,这些模型的大小按 4 倍的几何级数增长。从结果上看,人类评估表明「相比于 175B 的 GPT-3,人们 更偏好 1.3B 参数版本的 InstructGPT 模型的输出,尽管后者的参数量少 100 多倍。

2201_75499313的博客 2478

大模型后训练全解:SFT、RLHF/PPO、DPO 的原理、实践与选择

本文系统介绍了大语言模型后训练(Post-Training)的核心技术,包括SFT监督微调、RLHF强化学习对齐和DPO直接偏好优化。SFT通过高质量指令-回答对训练模型遵循指令;RLHF利用人类偏好数据训练奖励模型,通过PPO算法优化模型输出;DPO则简化了RLHF流程,直接优化偏好对差异。文章还介绍了DeepSeek-R1提出的GRPO新范式,特别适用于可验证推理任务。针对不同应用场景,作者提供了方法选择指南和完整工具链,并总结了常见问题和实战经验。

u012316485的博客 6992

大模型RLHF:PPO原理与源码解读

智能体(Agent)与环境(Environment)强化学习中两个实体的交互:状态空间S:S即为State,指环境中所有可能状态的集合动作空间A:A即为Action,指智能体所有可能动作的集合奖励R**:** R即为Reward,指智能体在环境的某一状态下所获得的奖励。以上图为例,智能体与环境的交互过程如下:在t时刻,环境的状态为StS_{t}St​,达到这一状态所获得的奖励为RtR_{t}Rt​智能体观测到StS_{t}St​与RtR_{t}Rt​,采取相应动作。

AI前沿技术的分享! 2111

收藏学习:大模型对齐核心技术:RLHF中的奖励模型与PPO实战指南

本文详细介绍了大型语言模型(LLM)的对齐技术,重点讲解人类反馈强化学习(RLHF)方法。文章解释了RLHF的三个阶段:预训练、监督微调和人类反馈强化学习,并深入探讨了奖励模型训练过程和近端策略优化(PPPO)技术。同时分析了RLHF面临的挑战,包括计算复杂性、不可微性和不稳定性,为构建更安全、更有用、更符合人类价值观的AI系统提供了技术路径。

Android_XG的博客 1199

LLM微调(三)| 大模型中RLHF + Reward Model + PPO技术解析

基于人类的反馈数据来训练一个奖励模型,该模型会在RLHF中被调用,并且不需要人类的参与,就可以根据用户不同的Prompt来分配不同的奖励reward,这个过程被称为”Rollout“。

wshzd的博客 9540

LLM 对齐技术综述:RLHF、RLAIF、PPO 和 DPO 等

24年7月来自 Salesforce 的论文"A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and more"。 随着自监督学习的进步、预训练语料库中数万亿个 token 的出现、指令微调以及拥有数十亿参数的大型 Transformer 的开发,大语言模型 (LLM) 现已能够对人类查询生成真实且连贯的响应。然而,训练数据的质量参差不齐可能会导致生成不理想的响应,从而带来重大挑战。在过去的两年中,人们从不

yorkhunter的博客 1983
上一篇: DeepSeek R1:国产开源推理大模型的崛起与实践
下一篇: FlashAttention:大模型推理优化的核心技术
MATLAB代码顾问
博客等级 码龄20年 4万+粉丝 441原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MATLAB代码顾问

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值