- 博客(190)
- 收藏
- 关注
原创 CQE-Conditional Quantile Estimation for Uncertain Watch Time inShort-Video Recommendation
想象一下所有分位数像士兵一样从低到高排成一列。第1个士兵(
2026-04-09 16:42:16
462
原创 ICCV-2019-Pyramid Graph Networks with Connection Attentions for Region-BasedOne-Shot Semantic Segme
前文介绍的图注意力单元将每个像素建模为节点向量,以执行图推理,但仅基于像素级基础特征建立的关联,不足以挖掘出理想的特征关系。本文发现,复杂的目标可被分解为多个基础元素(例如,人脸大致由眼睛、鼻子、嘴巴等基础元素构成),通过融合基础元素的表征,即可得到更高层级的抽象表征。:将所有ej设置为相等的注意力值,此时每个查询节点融合的是支持节点的平均值,旨在融入支持集的全局统计信息。自适应池化能够从任意尺寸的特征图中,提取固定尺寸的表征,子区域内的所有像素位置共同构成一个特征表征,并被建模为一个图节点。
2026-03-24 15:40:03
387
原创 2021-Self-supervised Learning for Large-scale Item Recommendations
由于存在长尾item的问题,如果在中使用训练样本中item的分布,会导致学习到的特征关系偏向于头部item。针对此问题,本文在的样本库中使用均匀采样,对应的item数据集是均匀分布数据集,而主任务的样本数据集不做处理。一个类是数据类别 data sample,另一个类是噪声类别 noisy sample,通过学习数据样本和噪声样本之间的区别,将数据样本去和噪声样本做对比,也就是“噪声对比(noise contrastive)”控制对负样本的区分强度(主任务应该系数设置的稍大,辅任务设置的稍小)
2026-03-13 14:08:46
218
原创 24-google-Deep Learning-Based Alternative Route Computation
路由架构对该图进行预处理;该架构将图进行。
2026-02-28 11:52:25
987
原创 GenMRP: A Generative Multi-Route Planning Framework forEfficient and Personalized Real-Time Industr
目标是生成 K 条路径,使其满足以下两个性质。个性化:个性化的目标是使推荐的路径尽可能被用户选中。多样性:多样性的目标是使每条推荐的路径与其他路径尽可能不同。校正增强目标函数:推荐路径集最大覆盖率的提升,不仅可以刻画个性化质量的提升,也能保证多样性水平不会过低。在第 k 次迭代中,对个性化的学习体现在最大化生成 r∗ 的概率。注意,只有尚未生成 r∗ 的样本才满足。在这一阶段,目标函数专注于优化这些样本,并优先处理 ΔCovk 更高的样本。更高的 ΔCovk 会引导模型探索与。
2026-02-25 12:05:23
834
原创 SCASRec: A Self-Correcting and Auto-Stopping Model forGenerative Route List Recommendation
注:其中H为用户在历史相同场景下的用户历史序列,对于当前请求不同候选路线是相同的,用来和当前候选路线提供相关性信息(历史选择高架路线)作为当前路线唯一的特征标准。EOR 的奖励系数 α 是一个控制推荐过程停止倾向的超参数:α 值越高,推荐停止得越早,最终推荐的路径数量越少。的全局目标:(被选择路线排名越靠前越好,生成集合的sim_max均值越大越好,整体路线生成集合越少越好)通常而言,Dfail 中的样本更难学习,且更可能包含噪声。在路径推荐任务中,系统接收用户的起终点查询,并返回有序的候选路径列表。
2026-02-24 15:38:44
1018
原创 LLM-A*: Large Language Model Enhanced Incremental HeuristicSearch on Path Planning
在A*算法的基础上,根据LLM给出的关键路径,引导A*向关键路径走(优先扩展),从而减小搜索空间,提升搜索效率。
2026-02-12 16:36:43
1196
原创 ROPE旋转位置编码设计思路
我们应当寻找巧妙的方法将知识融入大语言模型,而非让模型独立学习所有内容。闭式解析公式支持无限长度的扩展,因为我们无需为每个位置逐一学习位置嵌入。这也是旋转位置编码(RoPE)能实现极佳序列长度灵活性的核心原因。注意力权重会随相对距离的增加而降低。这一设计思路,与交替注意力架构中局部注意力的核心直觉一脉相承。
2026-02-03 15:06:32
1056
原创 TRPO-trust region policy optimization论文讲解
在无法直接优化真实策略性能的情况下,找到一个可计算、可优化的近似目标,并通过保守更新的方式,确保策略性能的稳定提升—— 这也是策略梯度、PPO 等算法的理论基石之一(PPO 的裁剪目标本质就是对这一框架的近似和优化)。我们提出并分析了一种用于优化随机控制策略的信任区域方法。我们证明:通过对策略期望回报的局部近似函数进行迭代优化,并引入 KL 散度惩罚项,所设计的算法能够实现策略性能的单调提升;同时,我们还验证了该方法的一种近似变体 —— 将 KL 散度惩罚项替换为KL 散度硬约束。
2026-01-18 20:07:59
766
转载 LHUC与PEPNET
优点:成本很低,能直接应用到全连接网络以及卷积层中,对于效果提升明显。LHUC 最核心的思想,是为每一个 speaker 定制一个振幅函数 (amplitude function),作用于的隐层之上。
2026-01-15 11:38:57
221
原创 RQ-VAE(残差量化-变分自编码器)
在 VQ-VAE 中,码本中的很多向量可能永远不被使用(码本坍塌)。而在 RQ-VAE 中,由于每层码本负责不同粒度的信息,所有码本向量都被充分利用起来。:当某个码本向量在很长一段时间(如一定步数)内未被使用,则将其重新初始化为一个当前正在被使用的编码器输出。:分层量化的方式使得模型能够捕获从全局轮廓到局部细节的丰富信息,从而生成非常精细和高质量的图像。除了承诺损失,有时会采用。这是为了鼓励码本更快地适应编码器输出的分布,尤其是在训练初期。等技巧,确保码本能够平滑、稳定地学习到编码器输出的核心分布。
2026-01-09 21:11:48
1359
原创 17-Neural Discrete Representation Learning
Vector Quantised-Variational AutoEncoder (VQ-VAE) 来自Google DeepMind团队提出一种基于离散隐变量的生成模型,在无监督学习场景下,同时实现高质量的数据生成 / 重建和具备实用价值的离散隐表征学习,填补离散隐变量模型在性能上与连续隐变量模型(如传统 VAE)的差距。1. 原始图像、音频等数据存在大量冗余像素 / 采样点,直接在像素级建模会消耗大量计算资源,且易陷入低阶细节(如噪声)2. 离散隐变量的梯度不可导问题;3. 此前的离散隐变量 VAE 变
2026-01-07 21:20:28
994
原创 Qwen多轮对话speical token学习方式
预训练:靠划分 “独立文本样本”,学习通用语义;对话微调:靠<|im_end|>划分 “对话角色 / 轮次”,学习结构化对话逻辑,兜底标记 “对话样本结束”。正是这种训练时的结构化设计,让 Qwen-Chat 模型能精准理解多轮对话的角色和上下文,生成符合人类交互逻辑的回复。
2026-01-05 17:27:44
734
原创 23-google-Recommender Systems with Generative Retrieval
指标对推荐结果的多样性进行量化评估,该指标的计算方式为:对模型预测的排名前 K 物品对应的真实品类分布求解熵值,熵值越高,代表模型预测的物品品类越丰富、推荐结果的多样性越好。每个项目都具有长度为 4 的唯一语义 ID:三个码字 + 避免冲入id(例如,与元组 (7, 1, 4) 相关联的两个项目分别分配为 (7, 1, 4, 0) 和 (7, 1, 4, 1)(如果没有冲突,将 0 作为第四个码字进行分配))按\(c_1\)的取值(0/1/2/3)进行分组,统计每个\(c_1\)值下,各个物品类别标签的。
2025-12-24 16:23:53
1061
原创 Lora模型微调
大量实证研究表明:大模型在微调过程中,权重增量矩阵 ΔW 具有显著的低内在秩(low intrinsic rank)。这意味着,尽管 ΔW 是一个高维矩阵(例如 4096×4096),其有效信息却集中在少数几个主成分上。在 LoRA 中,矩阵 W 是模型的权重矩阵。而在传统的微调中,W 会直接进行调整,但在 LoRA 中,核心思想是将原始的权重矩阵 W 被分解为两个较小的低秩矩阵:A 和 B。这两个矩阵的乘积(A * B)就是对权重矩阵的调整部分:ΔW = A × B。
2025-12-21 14:59:18
1224
原创 Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
尽管非线性代价函数具备诸多优势,但它也为本身就存在欠定义性的逆最优控制目标函数,引入了显著的模型复杂度。为缓解这一问题,我们提出了两种适用于逆最优控制的正则化方法。以往的研究通常通过惩罚代价函数参数 \(\theta\) 的 L1 或 L2 范数来实现正则化(齐巴特,2010;卡拉克里希南等人,2013)。但对于高维非线性代价函数而言,这类正则化方法往往效果不足 —— 因为参数向量中不同维度的参数,对代价函数的影响程度可能存在天壤之别。
2025-12-18 15:00:13
662
原创 OneRec - V2 lazy decoder为什么效率高
总计算量减少 94%,训练资源消耗降低 90%:通过剥离冗余辅助计算,目标解码的计算占比从 < 3% 提升至 90% 以上,资源利用率大幅提升;推理延迟降低:上下文编码的轻量化与惰性更新,使实时推理 latency 从 200ms + 降至 30ms 内,满足工业级推荐的低延迟要求。
2025-12-05 11:00:02
1261
原创 One-rec强化学习部分ECPO
在ECPO训练中,扩大动作探索空间(每次搜索的候选空间还是RL训练过程中的RL组大小)能增加发现具有最大奖励的最优项目的概率,但也会带来更高的计算成本。即便某个长尾 item 无太多交互数据,模型也能依据相似 item 的偏好模式、用户的历史偏好,给出合理的评估分数,从而支持对长尾 item 的推荐优化,突破真实反馈依赖大量历史数据的局限。
2025-12-02 18:01:20
1304
原创 20-Gradient Surgery for Multi-Task Learning
我们提出假设:多任务学习的核心优化问题源于冲突梯度—— 当不同任务的梯度内积为负时,表明它们方向相反(相互背离)。但冲突梯度本身并非有害:事实上,简单对任务梯度取平均,理论上应能获得多任务目标函数的最优下降方向。然而,在特定条件下,这类冲突梯度会导致性能显著下降。以双任务优化问题为例:若一个任务的梯度幅度远大于另一个,前者会主导平均梯度;若任务梯度方向上同时存在高正曲率,则主导任务的性能提升可能被大幅高估,而非主导任务的性能下降可能被大幅低估。
2025-12-01 23:42:39
851
原创 普通卷积 VS 深度卷积
跨通道关联 = 不同特征维度的 “相互影响”—— 全连接层是 “无差别全影响”,普通卷积是 “局部全影响”,深度卷积是 “无影响”。在 FFN 优化中,我们用深度卷积切断跨通道关联,本质是砍掉 “无意义的特征维度融合”,保留 “有价值的局部位置交互”,从而在不损失性能的前提下降低计算冗余。
2025-11-30 10:27:41
1079
原创 注意力相关
多query共享一个KV: 例如有 32 个查询头,若分成 4 组,每组 8 个查询头,此时仅需 4 组键值对而非 32 组,既减少了键值对的数量,又保留了多组键值对带来的特征多样性。虽然MHA多个头是并行计算的,但是不改变“算法本身的计算量”,即不降低时间复杂度。GQA的KV计算无需重复h次,只需要k组计算即可,时间复杂度为。时间复杂度衡量的算法所需的“基本操作次数”,与并行度无关。能够降低缓存,内存带宽压力和延迟,也可以提升推理速度。MHA: 每个token的KV缓存大小为。,h为head的数量。
2025-11-28 10:48:57
268
原创 A*算法原理以及证明
可采纳性的本质是 “启发函数不吹牛”—— 预估的到终点的代价,永远不会比实际需要的多。因为 “不吹牛”,A * 算法不会因为 “某个节点看起来离终点近(h 值小)” 就盲目扩展它,而是会兼顾 “已经走的路(g 值)” 和 “预估的路(h 值)”;最终,算法会先把 “真正的最短路径” 上的节点都走完,才会考虑那些 “看起来近但实际绕远” 的路径,因此能保证找到最短路径。反之,若 h (n)“吹牛”(高估实际代价),算法会被误导,优先扩展那些 “预估近但实际远” 的节点,最终可能错过最短路径。&plus。
2025-11-27 16:21:27
1244
原创 双向迪杰斯特拉算法原理及实现
双向迪杰斯特拉算法的时间复杂度需结合「搜索空间缩小」的核心优化来分析,最终。」,避免了单向搜索需要遍历到终点的庞大空间。堆操作(插入 / 弹出)是时间复杂度的主要来源,每次操作的时间为。,这也是它在地图导航、网络路由等实际场景中被广泛应用的原因。双向迪杰斯特拉的核心优势是「
2025-11-26 15:14:23
594
原创 GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
若各任务梯度天然存在量级差异(如高 \(\sigma_i\) 任务梯度远大于低 \(\sigma_i\) 任务),需先通过 “梯度归一化”(如 GradNorm 的 \(G_W(t)\) 统一尺度)或 “权重归一化”(如 \(\sum w_i(t) = T\)),确保:\(\text{各任务梯度的加权贡献量级均衡}\)避免单一任务梯度(如高 \(\sigma_i\) 任务)在总梯度中 “独占主导”,导致共享权重更新偏向性过强。这类任务由于响应值的方差更大,更难学习,但同时也会反向传播更大的梯度。
2025-11-22 23:11:32
858
原创 DataLoader多进程数据加载
None:yield dataprint(f"跳过无法解析的 JSON 行: {line}")raise RuntimeError(f"文件 {self.file_dir} 未找到!")raise RuntimeError(f"读取文件时发生错误: {e}")你的代码对worker_id多进程场景(存在):直接取(DataLoader 分配的子进程编号)。单进程场景(为None):强制设。
2025-11-19 16:07:22
558
原创 SwiGLU激活函数的来源
门控的本质是动态调节信息流,而非严格的 [0,1] 开关,Swish 的宽动态范围(可抑制、可保留、可放大)更适合这一需求;平滑性和无硬饱和特性避免了梯度消失,保证深层网络的训练稳定性;与线性变换的结合及网络深度,确保了整体的非线性表达能力。
2025-11-19 15:48:21
985
原创 Mixtral-MOE代码解析
Mixtral 模型为每个词元选择两名专家,因此,尽管其有效参数量是 12B 稠密模型的 4 倍,但其解码速度却能做到与 12B 的稠密模型相当。令人印象深刻的是,Mixtral Instruct 的性能优于 MT-Bench 上的所有其他开放模型,且是第一个与 GPT-3.5 性能相当的开放模型!,核心功能是根据路由网络输出的 “Top-K 专家索引” 和 “权重”,调用对应的专家处理 token,并融合结果。而LLM MOE主要是在大模型场景中来通过增加专家数量来提升模型容量,提升模型效果。
2025-11-18 10:15:47
902
原创 17-SPARSE-MOE
神经网络吸收信息的能力受其参数数量的限制。理论上,条件计算(即网络的部分组件针对每个样本动态激活)被提出作为一种可大幅提升模型容量,同时又不会导致计算量成比例增加的方法。然而,在实际应用中,这一方法面临着显著的算法与性能挑战。在本研究中,我们攻克了这些挑战,最终实现了条件计算的潜力 —— 在现代 GPU 集群上,将模型容量提升超过 1000 倍,同时仅造成轻微的计算效率损失。我们提出了一种稀疏门控混合专家层(MoE),该层由多达数千个前馈子网络(“专家”)组成。
2025-11-16 18:57:43
685
原创 DeepSeekV3-MOE
DeepSeek-V3对keys和values采用了low-raw联合压缩来降低Key-Value缓存(在推理侧):是下采样矩阵,其中是对k和v的压缩latent vectors,其中dc远小于dn*nh,是上采样矩阵。这样只需要缓存蓝色的向量,来降低缓存cache。同理,对query也进行下采样,可以降低训练时的激活内存(
2025-11-11 20:39:35
358
原创 高效拼接LLM预训练数据
预训练的时候,为了保证效率,通常不采用 padding,而是所有文本 concat 起来,超过了最大长度就截断。一个完整的文本被截断,相互之间就没了 attention,这样可能会丢失了逻辑连贯性和事实一致性,模型在这类样本上就可能产生幻觉。虽然 transformers 的 FFN 有一定的记忆功能,也可以从其他的知识中把信息补全。但是如果本身这个知识就比较稀少,那这条被截断的样本模型也很难学到。所以一种提升预训练模型能力的方法,就是尽可能的减少截断的数量。
2025-11-11 17:19:20
659
原创 策略梯度与值函数方法进行联合能解决什么问题
策略梯度与值函数的联合(如 Actor-Critic、DDPG、PPO、SAC 等),本质是通过 “策略生成动作(解决连续 / 高维空间问题)+ 值函数评估动作(解决高方差 / 过估计问题)” 的分工,实现了稳定性、适用性、效率的三重提升。这也是为什么当前主流强化学习算法(尤其是在复杂实际场景中)几乎都是两者的联合框架 —— 单一方法难以同时应对强化学习的多重挑战。策略梯度与值函数方法联合的具体算法有哪些?策略梯度与值函数方法联合在哪些领域有应用?
2025-11-10 16:01:06
686
原创 GRPO中的梯度裁剪原理&细节
若 “策略偏离大且动作价值高”(同向):需要惩罚(裁剪),避免过度优化导致不稳定;若 “策略偏离大但动作价值低”(反向):无需惩罚,因为动作本身的低价值会自然限制策略的不合理偏移,惩罚反而可能抑制正常探索。“过度惩罚” 通常指 “惩罚强度超出了合理范围,导致策略优化偏离目标”(比如为了避免一个差动作,反而让策略变得过于保守,甚至放弃了好动作)。惩罚的对象是 “新策略过度偏好的差动作”(本身就该被减少);惩罚的强度与 “新策略的偏离程度”(coef_1。
2025-11-07 18:16:28
787
原创 25-GRPO IS SECRETLY A PROCESS REWARD MODEL
验证奖励饱和的本质是模型 “找到并聚焦于有效路径”,轨迹从 “杂乱探索” 变成 “有序收敛”。这种收敛带来了更丰富的共享前缀结构(更长、层级更多),而路径深度和中间比例正是衡量这种结构丰富度的直接指标 —— 因此两者会随奖励饱和大幅提升。问题:需要遍历轨迹来计算吧?
2025-11-07 16:18:17
817
原创 基于树结构突破大模型自身能力
摘要:大语言模型(LLM)在复杂推理领域的最新研究聚焦于树形结构搜索算法的创新应用,通过提升测试时计算效率突破模型性能限制。核心进展包括:1)思维树(ToT)框架将推理过程建模为树形搜索,实现多路径探索与回溯;2)语言代理树搜索(LATS)整合蒙特卡洛树搜索与环境交互机制;3)测试时计算优化研究通过资源分配策略提升推理效率。这些方法从线性思维链(CoT)演进为动态树形搜索,实现了从单一推理到多模型协作、从静态规划到环境交互的跨越,显著提升了LLM在复杂决策任务中的表现。
2025-11-05 19:47:56
1095
原创 TREE SEARCH FOR LLM AGENT REINFORCEMENTLEARNING
尤其在轨迹生成预算高度受限的情况下(例如,每个提示仅分配生成两条完整轨迹的预算),基于链结构的强化学习难以学习多轮交互模式,而基于树结构的方法则取得了显著更优的结果(112% 的相对提升)。在图5的多跳问答实验中发现,除了训练奖励方面的性能提升外,基于树的方法还鼓励LLM智能体进行更长的交互(即使用更多工具调用),解决每个多跳问题的平均调用次数从2.4次增加到3.0次。值得注意的是,我们提出的 Tree-GRPO 仅使用四分之一的轨迹生成预算,性能便超过了基于链结构的方法。
2025-11-02 18:27:36
758
原创 GRPO相关优化论文
SEED-GRPO 中的聚类方法是其 “语义熵增强” 逻辑的延伸 —— 本质是通过 “语义熵区间划分” 将提示按不确定性分组,让策略更新从 “单提示精准调节” 升级为 “簇级批量优化”,既保留了 “不确定性感知” 的核心优势,又解决了实际应用中的效率与稳定性问题,是连接理论改进与工程落地的关键设计。
2025-10-30 16:44:50
1205
原创 REINFORCEMENT LEARNING WITH VERIFIABLE REWARDS:GRPO’S EFFECTIVE LOSS, DYNAMICS, AND SUCCESS AMPLIFIC
该篇对公式进行拆解,分析了grpo为什么有效。
2025-10-28 10:33:59
748
原创 25-DAPO: An Open-Source LLM Reinforcement LearningSystem at Scale
在大型语言模型上应用强化学习不仅是一个前沿研究方向,更是一项本质复杂的系统工程挑战,其特点是各个子系统之间存在相互依赖关系。对任何单个子系统的修改都可能在整个系统中传导,由于这些组件之间的复杂相互作用,可能导致不可预见的后果。即使是初始条件中看似微小的变化(如数据和超参数的差异),也可能在迭代式强化学习过程中被放大,最终导致结果出现显著偏差。这种复杂性常常使研究人员陷入困境:即使经过细致分析并有理有据地预期某项修改会改善训练过程的特定方面,实际结果也往往与预期轨迹不符。因此,在实验过程中监控关键中间结果。
2025-10-21 21:23:37
935
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1