Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes

最新推荐文章于 2025-12-12 17:54:27 发布
最新推荐文章于 2025-12-12 17:54:27 发布
阅读量168 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Alignment 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/148170001

文章主要内容总结

本文聚焦于大语言模型（LLMs）与人类偏好对齐的难题，提出了潜在偏好编码框架（Latent Preference Coding, LPC）。传统方法依赖单一奖励函数，难以捕捉人类偏好的多维度和冲突性（如“帮助性”与“安全性”的权衡）。LPC通过离散潜在代码建模偏好背后的隐含因素及其组合，无需预定义奖励函数和人工权重，可自动从数据中推断因素及其重要性。

核心方法
  • 离散潜在空间：引入包含K个代码的代码本，每个代码代表一个影响整体偏好的潜在因素。
  • 变分推理：通过后验网络q(z∣x,yw≻yl)q(z|x, y_w \succ y_l)q(z
了解本专栏 订阅专栏 解锁全文 超级会员免费看
stable video diffusion(SVD):scaling latent video diffusion models to large datasets
liguandong
12-11 828
同样基于base模型，可以微调图生视频模型。使用network preconditioning将图像模型中的固定离散噪声调度微调为连续噪声，对大小为256x384的图像进行微调，在插入temporal layer后，使用256x384的LVD-F对模型进行训练，使用bs为768在100k迭代中微调模型以生成14个320x576的帧。有了基础数据集后，需要关注美学指标，比如视频中静止太多，文本太多，因此使用基于深度光流对视频进行评估，使用了2帧的帧率，把平均光流幅度低于一定阈值的视频都过滤掉了。
详细解读Latent Diffusion Models：原理和代码
沉迷单车的追风少年
08-21 1万+
CVPR 2022中的一项新工作latent diffusion models引起了广泛关注，提出了两段式diffusion models能有效节省计算资源，latent attention技术为通用image-to-image任务打下基础，让人耳目一新，具有极强的借鉴意义和启发性，值得深度阅读。...
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-08 3191
​ LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction引言 2
CVPR 2018 paper
qq_34848537的博客
10-08 1万+
CVPR 2018 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access Paperlist Embodied Question Answering Learning by Asking Questions Finding Tiny Faces in the Wild With Generative Adversarial Network...
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7745
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
ICML 2018 paper(oral)
qq_34848537的博客
10-08 5499
参考链接 icml 2018 oral Paperlist Optimal Tuning for Divide-and-conquer Kernel Ridge Regression with Massive Data Predict and Constrain: Modeling Cardinality in Deep Structured Prediction Transfer Learn...
AAAI2020论文列表（中英对照）
dovings的博客
07-04 7330
AAAI2020论文列表（中英对照）
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
[资源帖]IJCAI 2016 下载地址
波大菜菜
12-17 2万+
从IJCAI官网上爬取HTTP源码.然后进行按要求修改成下载地址. 分享一下百度网盘下载地址：http://pan.baidu.com/s/1mikAiPa密码：7tp7 失效后请与我联系：1511082629@nbu.edu.cn 下面是pdf名称与里边论文题目的映射关系000.pdf Preface 001.pdf Conference Organization 002.pdf Pr
CVPR 2018 paper ---object detection
weixin_37160065的博客
10-20 8424
转载：https://blog.youkuaiyun.com/qq_34848537/article/details/82968217 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access 关键词搜索： “Object Detection ”list  Scale-Transferrable Object Detection Progressiv...
【文献笔记】Training Large Language Models to Reason in a Continuous Latent Space
c769的博客
07-04 1099
现在常用思维链（CoT）来表达推理过程以解决复杂的推理问题，这是一种在语言空间中的推理方式。 然而，作者认为这种方式对大模型推理有限制。因为大多数词元主要用于文本连贯性而非推理所必需，而一些关键词元需要复杂的规划。 为了探索LLM在无限制的潜在空间中推理的潜力，而非使用自然语言，作者引入了一个新的范式——coconut（Chain of Continuous Thought） 利用LLM的最后隐藏状态作为推理状态的表示（称为“连续思维”）。不是将其解码为一个词元，而是直接将其作为连续空间中的后
论文阅读：Self-Planning Code Generation with Large Language Models
m0_53605808的博客
05-26 1617
尽管大型语言模型（LLMs）在代码生成方面展现出了令人瞩目的能力，但它们在处理人类提供的复杂意图时仍然困难重重。众所周知，人类通常会在实施之前通过规划来分解复杂问题并安排解决步骤。为此，我们将规划引入代码生成，以帮助模型理解复杂意图并降低解决问题的难度。本文提出了一种基于大型语言模型的自规划代码生成方法，该方法包括两个阶段，即规划阶段和实现阶段。具体来说，在规划阶段，LLM 通过少样本提示从意图中规划出简洁的解决步骤。随后，在实现阶段，模型在前述解决步骤的指导下逐步生成代码。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 885
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
深度学习下载包时可能会遇到的问题及解决方案
m0_50481455的博客
12-09 490
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 679
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
vLLM推理引擎教程4-离线推理功能
最新发布
benben044的专栏
12-12 352
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 422
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
“人工智能 +” 创新大会签约落定，云工场科技与沐曦、中国移动等企业携算力服务助力潍坊转型发展
Cloudcsp的博客
12-12 284
大会紧密围绕贯彻落实党的二十届四中全会精神，旨在纵深推进“人工智能+”行动，促进人工智能与实体经济深度融合，为培育和发展新质生产力注入强大 AI 动能。，共同推进智能算力供给与行业应用落地。聚焦于行业大模型落地应用、高效智能算力供给、以及“人工智能+”模式创新等多个关键方向，携手构建开放、协同、共赢的 AI 产业生态。在大会签约环节，昌邑市、安丘市、寒亭区、潍城区等政府单位围绕人工智能+治理分别推进相关合作布局；等核心能力，协同产业伙伴共同服务潍坊“人工智能+”行动，助力区域新质生产力加速培育。
理解Latent Dirichlet Allocation：贝叶斯统计与Dirichlet分布
"Latent Dirichlet Allocation (LDA)笔记" Latent Dirichlet Allocation (LDA)是一种主题模型，用于发现文本数据中的隐藏主题结构。它属于概率图模型和混合模型，常用于自然语言处理领域。LDA基于贝叶斯统计学，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值