Learning to Summarize from Human Feedback

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 175平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄27年

关注

原创 2023-06-22 00:56:33 175 阅读 AI 写同款· GEO 优化 ›

论文笔记--Training language models to follow instructions with human feedback GPT系列论文阅读之InstructGPT——ChatGPT的前身阅读详情

Learning to Summarize from Human Feedback

Learning to Summarize from Human Feedback_triplemeng的博客-优快云博客

收录于

00.LLM

当前文章被收录于：

00.LLM

11 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#nlp

基于人类反馈的强化学习(RLHF) 理论 ChatGPT 背后的“功臣”——RLHF 学习笔记阅读详情

相关推荐

人类反馈如何校准强化学习：从偏好建模到价值对齐

强化学习（RL）依赖奖励信号驱动决策，但真实世界的‘好’难以量化——这导致AI能力强大却意图错位。人类反馈（Human Feedback）作为一种高维、模糊却语义丰富的价值信号，通过偏好建模将主观判断转化为可优化的奖励模型（Reward Model），进而引导策略在人类价值观定义的‘意义空间’中进化。该技术不仅提升对话有用性、代码安全性等应用表现，更本质地解决AI与人类意图对齐（Alignment）这一基础命题。当前主流框架如RLHF已将该范式工程化，成为大模型可信演进的核心基础设施。

cishan3804的博客 435

【论文阅读】Learing to summarize from human feedback

该仓库持续更新。

qq_52852138的博客 1735

Sparsh：用于基于视觉的触觉感知的自监督触觉表征【传感器：带标记点的 GelSight 2017、无标记点的 DIGIT】

t⊕It−5→x∈Rh×w×6tt−2t−4t−6∈R4×h×w×3t∈Rh×w×3t∈SE3). Tttt−1≜ΔxΔy˙Δθ∈SE2ˉ2∘0.5∘1.0∘to1.0∘2.0∘zt−1ztqt−1qt≜ΔqtΔqt1...;Δq∈R7。

u013250861的博客 101

Learning to summarize from human feedback导读（1）

（1）我们的目标就是让最终结果接近我们所希望的，然后现阶段集中在英文文本摘要上面，现存ROUGE等评估手段，一直遭受不准确的批评。（2）当把大模型用于下游任务的时候，通常需要监督数据进行微调，数据一般来源于人类总结的证据，来最大化似然函数。（3）这些方法提高了性能，但是呢存在无法对其的问题，微调最大化似然的结果，和人类作出的高质量回答是不一致的。（1）我们发现，在英语总结方面，有人类反馈的训练显著优于非常强的基线。（1）生成摘要等模型，虽然有评估方法，但是人类总结的质量依旧难以相比。

Frank-Li的博客 777

手把手复现RLHF摘要模型：从奖励建模到PPO调优的工程实践

RLHF（基于人类反馈的强化学习）是实现AI对齐的核心技术路径，其本质是将人类偏好转化为可优化的奖励信号，解决监督微调无法捕捉高层语义目标的根本缺陷。通过构建稳定低噪的奖励模型并结合PPO策略优化，系统能持续提升生成内容的事实性、关键信息覆盖度与业务适配性。该方法已在金融研报摘要、法律文书精简、医疗报告生成等真实场景验证有效，显著改善传统SFT模型回避负面事实、生成‘正确废话’等问题。本文聚焦AI Alignment落地中的数据过滤、reward collapse防控、KL penalty调控等关键技术细节

vanadiumlin 296

【202503】Wan：开放且先进的大规模视频生成模型【1.3B、14B】【支持对无限长度视频进行稳定的Inference】【Wan中的主要计算开销来自注意力机制】

wan: Open and Advanced Large-Scale Video Generative ModelsWan：开放且先进的大规模视频生成模型Wan Team, Alibaba Group Wan 团队，Alibaba GroupThis report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation

u013250861的博客 711

ChatGPT的技术体系总结

来自：GiantPandaCV进NLP群—>加入NLP交流群ChatGPT的技术体系0.参考资料RLHF论文：Training language models to follow instructions with human feedback（https://arxiv.org/pdf/2203.02155.pdf）摘要上下文中的 RLHF：Learning to summarize fr...

zenRRan的博客 228

Agentic工作流实操指南：从提示词到项目管理的范式升级

Agentic AI（具身智能体）正推动大语言模型从被动响应工具转向主动规划、执行与验证的协作者。其核心原理在于将模糊目标分解为可验证的原子动作，并通过多路径推理与工具调用闭环实现自主性。这种能力不仅支撑IMO级数学证明，也适用于竞品分析、舆情监控等真实业务场景。技术价值体现在对信息差、跨系统协作和结构化交付的高效处理；典型应用包括自动化市场调研、智能文档生成与动态数据抓取。本文聚焦轻量级可控Agent构建，融合LangChain任务规划、Playwright确定性执行与人工检查点设计，帮助从业者跳过黑箱D

weixin_34413802的博客 346

论文解读之learning to summarize with human feedback

部分生成任务需要对齐人类偏好，但是根据最大化可能性（对数似然）进行微调的模型跟真正使用模型的人的喜好并不能直接匹配，即不对齐。这种不对齐的原因有：（1）最大化可能性目标对于重要和不重要的错误判别的差距不大。（2）模型会对人类的训练数据放置更大的可能性，其中包括低质量的训练数据。（3）采样时的分布偏移可能会降低表现。尽管第三点能够通过不均匀采样策略改善，比如束搜索，但是可能造成重复和不想要的捏造。本论文的团队基于GPT3和人类反馈强化学习进行了完整的偏好对齐的流程。

m0_72806612的博客 829

Learning to summarize from human feedback

使用强化学习微调总结生成模型

Young 480

ABB机器人与西门子PLC、工业相机联合实现无序抓取的完整调试方案

将此方案导入系统后，逐步执行调试，确保各环节信号正常触发，即可实现高效无序抓取！

CHUXUEZHE8210的博客 1991

【TRL】SFTTrainer、RewardTrainer、PPOTrainer

HuggingFace TRL框架、PPO工作原理（Rollout、Evaluation、Optimization）； SFTTrainer、RewardTrainer、PPOTrainer 及相关参数。

qq_43629945的博客 201

【ESP32实战】SPI驱动ILI9341屏幕：从基础绘图到汉字显示

本文详细介绍了如何使用ESP32通过SPI驱动ILI9341屏幕，从基础连接、SPI初始化到实现基础绘图、数字显示及汉字显示的全过程。文章包含实用的代码示例和优化技巧，帮助开发者快速掌握屏幕驱动技术，提升显示性能。特别针对常见问题如花屏、刷新率等提供了解决方案。

weixin_29164091的博客 620

机器人-模仿学习-双臂【2023-04】：ACT【80M参数；CVAE-Transformer架构；ResNet18编码四路视觉；4层编码器融合视觉状态；7层解码器并行预测100步动作；时序集成平滑】

Meta。

u013250861的博客 426

YOLOv8 TensorRT C++部署实战详解：从XMake构建到推理流水线

本项目实现了一个基于YOLOv8和TensorRT的高性能火灾烟雾检测系统，具有以下核心特点：技术架构：采用TensorRT 8.6+进行GPU加速推理，结合CUDA 12.1和OpenCV 4.8+，实现高效计算机视觉处理。系统使用XMake替代CMake构建，配置更简洁高效。

hscing的博客 1065

通达信短周期指标盘中实时监控与预警选股实战

本文详细介绍了通达信短周期指标在盘中实时监控与预警选股中的实战应用。通过分时指标改造、多股同列监控技巧及预警策略优化，帮助短线交易者捕捉转瞬即逝的交易机会，提升选股效率与准确性。重点解析了如何避免假信号干扰及系统卡顿问题，并探讨了从预警到自动交易的进阶应用。

weixin_29230805的博客 888

Simple Transformers三行代码实现高质量文本摘要

文本摘要作为自然语言处理（NLP）的核心任务之一，本质是将长文本压缩为语义连贯、信息完整的简短表达。其技术原理基于序列到序列（Seq2Seq）建模，依赖预训练模型（如T5、BART）的编码-解码能力完成语义蒸馏与重构。相比传统抽取式方法，生成式摘要具备更强的信息整合与语言生成能力，显著提升可读性与业务可用性。在工程落地中，模型微调、数据格式兼容与推理部署常构成主要瓶颈。Simple Transformers通过标准化接口封装主流预训练模型，支持零代码微调与CSV一键训练，大幅降低NLP应用门槛。本文聚焦该库

weixin_33713350的博客 460

别再死记硬背了！用MaxDEA软件实操SBM、DDF、NDDF模型，手把手教你测算绿色全要素生产率

本文深度解析如何使用MaxDEA软件实操SBM、DDF、NDDF模型，手把手教你测算绿色全要素生产率（GTFP）。通过详细的模型选择对比、数据准备策略和MaxDEA操作流程，帮助研究者科学构建指标体系并准确解读结果，提升环境管理研究的实证分析能力。

weixin_28731231的博客 312

人类反馈强化学习：绕过奖励函数陷阱的工程实践

强化学习在真实场景中常因奖励函数设计脆弱、不可穷举与价值不可知而失效。人类反馈（human feedback）通过偏好排序、过程干预等机制，将模糊的人类判断转化为可微分优化信号，从根本上解耦‘定义好’与‘达成好’。其技术价值在于提升模型对分布外数据的鲁棒性、缓解奖励黑客与目标错位，并支撑仿真到现实的可靠迁移。典型应用场景涵盖机器人控制、对话系统优化及医疗决策辅助等高风险领域。本文聚焦RLHF（Reinforcement Learning from Human Feedback）落地中的数据采集范式、Brad

weixin_34059951的博客 393

【51单片机仿真】基于51单片机设计的多功能电子时钟日历（实时时钟闹钟秒表温度检测）系统__资料编号5

该项目是基于单片机的多功能电子时钟系统，集成了时间显示、闹钟设置、秒表功能以及温度显示等功能。主要硬件包括1602液晶显示屏、DS1302时钟芯片、DS18B20温度传感器和蜂鸣器。系统通过按键进行时间和闹钟的设置，并实时显示当前时间和温度。

嵌入式阿齐Archie 2万+

Google Earth Engine 红树林制图方法的代码（三个模块）

谷歌地球引擎红树林制图方法（GEM）提供了一种直观、易用且可复制的工具，适用于广泛的非专业沿海管理者和决策者。该工具全面回顾并整合了相关的红树林遥感文献，并利用云计算的力量，包括简化的基于图像的潮汐校准方法。GEM 可免费用于非营利用途，并在 GEE 中运行，包含全面且详细注释的代码。GEM 专门设计用于绘制全球范围内多日期红树林分布并量化其动态变化。目前可用的工具和方法未能充分利用沿海管理者通常持有的丰富地方专业知识——GEM 致力于填补这一空白，帮助结合地方专业知识与 GEE 的云计算能力。

此星光明博客 559

π0：面向通用机器人控制的视觉-语言-动作流模型

Physical IntelligenceKevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj

u013250861的博客 55

mjlab 入门教程（一）MuJoCo 人形机器人强化学习训练 sim-to-real 部署框架

摘要：mjlab是一个结合IsaacLab API与MuJoCo简洁性的GPU加速机器人仿真框架，专为强化学习和机器人研究设计。它提供快速安装（支持uv、pip、conda和Docker）、核心功能（域随机化、NaN守护、观测历史/延迟、执行器/传感器系统）以及从IsaacLab的迁移指南。相比IsaacLab，mjlab更轻量、启动更快，直接构建在MuJoCo Warp上，避免了Omniverse开销。其哲学强调裸机性能、开发者体验和核心领域专注，适合需要快速迭代和直接MuJoCo控制的用户，而Isaac

2506_90492529的博客 2724

Q-Guided Flow——RL中基于流策略的推理时梯度引导：不直接在噪声动作上求Q的梯度，也不对整条去噪链做BPTT，而是一步Euler积分且把Jacobian直接换成单位矩阵

《强化学习中流策略的测试时梯度引导》论文摘要本文提出QGF方法，通过测试时梯度引导解决流策略在强化学习中的优化难题。针对扩散/流模型策略在RL训练中的不稳定性问题，作者创新性地采用"预训练+推理优化"的两阶段方案：先通过行为克隆训练参考策略，再在推理时利用价值函数梯度引导动作生成。QGF通过单步欧拉积分近似完全去噪动作，避免传统方法需要的多步反向传播，显著提升了计算效率和稳定性。实验表明，该方法在保持流策略多模态优势的同时，有效实现了奖励最大化，为复杂策略的强化学习提供了新思路。

结构之法算法之道 1812

SIMATIC S7-1200, S7-1500 PID 控制[手册]

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

上一篇： CoT开山之作：Chain-of-Thought Prompting

下一篇： python-is-cool python复习!

人类反馈如何校准强化学习：从偏好建模到价值对齐

cishan3804的博客

06-27

435