Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量163 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Alignment 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/148170001

文章主要内容总结

本文聚焦于大语言模型（LLMs）与人类偏好对齐的难题，提出了潜在偏好编码框架（Latent Preference Coding, LPC）。传统方法依赖单一奖励函数，难以捕捉人类偏好的多维度和冲突性（如“帮助性”与“安全性”的权衡）。LPC通过离散潜在代码建模偏好背后的隐含因素及其组合，无需预定义奖励函数和人工权重，可自动从数据中推断因素及其重要性。

核心方法
  • 离散潜在空间：引入包含K个代码的代码本，每个代码代表一个影响整体偏好的潜在因素。
  • 变分推理：通过后验网络q(z∣x,yw≻yl)q(z|x, y_w \succ y_l)q(z
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-08 3017
​ LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction引言 2
CVPR 2018 paper
qq_34848537的博客
10-08 1万+
CVPR 2018 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access Paperlist Embodied Question Answering Learning by Asking Questions Finding Tiny Faces in the Wild With Generative Adversarial Network...
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7724
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
ICML 2018 paper(oral)
qq_34848537的博客
10-08 5479
参考链接 icml 2018 oral Paperlist Optimal Tuning for Divide-and-conquer Kernel Ridge Regression with Massive Data Predict and Constrain: Modeling Cardinality in Deep Structured Prediction Transfer Learn...
AAAI2020论文列表（中英对照）
dovings的博客
07-04 7250
AAAI2020论文列表（中英对照）
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
[资源帖]IJCAI 2016 下载地址
波大菜菜
12-17 2万+
从IJCAI官网上爬取HTTP源码.然后进行按要求修改成下载地址. 分享一下百度网盘下载地址：http://pan.baidu.com/s/1mikAiPa密码：7tp7 失效后请与我联系：1511082629@nbu.edu.cn 下面是pdf名称与里边论文题目的映射关系000.pdf Preface 001.pdf Conference Organization 002.pdf Pr
CVPR 2018 paper ---object detection
weixin_37160065的博客
10-20 8404
转载：https://blog.youkuaiyun.com/qq_34848537/article/details/82968217 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access 关键词搜索： “Object Detection ”list  Scale-Transferrable Object Detection Progressiv...
【文献笔记】Training Large Language Models to Reason in a Continuous Latent Space
c769的博客
07-04 1097
现在常用思维链（CoT）来表达推理过程以解决复杂的推理问题，这是一种在语言空间中的推理方式。 然而，作者认为这种方式对大模型推理有限制。因为大多数词元主要用于文本连贯性而非推理所必需，而一些关键词元需要复杂的规划。 为了探索LLM在无限制的潜在空间中推理的潜力，而非使用自然语言，作者引入了一个新的范式——coconut（Chain of Continuous Thought） 利用LLM的最后隐藏状态作为推理状态的表示（称为“连续思维”）。不是将其解码为一个词元，而是直接将其作为连续空间中的后
stable video diffusion(SVD):scaling latent video diffusion models to large datasets
liguandong
12-11 818
同样基于base模型，可以微调图生视频模型。使用network preconditioning将图像模型中的固定离散噪声调度微调为连续噪声，对大小为256x384的图像进行微调，在插入temporal layer后，使用256x384的LVD-F对模型进行训练，使用bs为768在100k迭代中微调模型以生成14个320x576的帧。有了基础数据集后，需要关注美学指标，比如视频中静止太多，文本太多，因此使用基于深度光流对视频进行评估，使用了2帧的帧率，把平均光流幅度低于一定阈值的视频都过滤掉了。
详细解读Latent Diffusion Models：原理和代码
沉迷单车的追风少年
08-21 1万+
CVPR 2022中的一项新工作latent diffusion models引起了广泛关注，提出了两段式diffusion models能有效节省计算资源，latent attention技术为通用image-to-image任务打下基础，让人耳目一新，具有极强的借鉴意义和启发性，值得深度阅读。...
论文阅读：Self-Planning Code Generation with Large Language Models
m0_53605808的博客
05-26 1589
尽管大型语言模型（LLMs）在代码生成方面展现出了令人瞩目的能力，但它们在处理人类提供的复杂意图时仍然困难重重。众所周知，人类通常会在实施之前通过规划来分解复杂问题并安排解决步骤。为此，我们将规划引入代码生成，以帮助模型理解复杂意图并降低解决问题的难度。本文提出了一种基于大型语言模型的自规划代码生成方法，该方法包括两个阶段，即规划阶段和实现阶段。具体来说，在规划阶段，LLM 通过少样本提示从意图中规划出简洁的解决步骤。随后，在实现阶段，模型在前述解决步骤的指导下逐步生成代码。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 213
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 566
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 218
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1795
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
理解Latent Dirichlet Allocation：贝叶斯统计与Dirichlet分布
"Latent Dirichlet Allocation (LDA)笔记" Latent Dirichlet Allocation (LDA)是一种主题模型，用于发现文本数据中的隐藏主题结构。它属于概率图模型和混合模型，常用于自然语言处理领域。LDA基于贝叶斯统计学，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值