Online SOTA :LANGEVIN SOFT ACTOR-CRITIC: EFFICIENT EX- PLORATION THROUGH UNCERTAINTY-DRIVEN CRITIC L

最新推荐文章于 2025-11-25 00:06:26 发布
原创 最新推荐文章于 2025-11-25 00:06:26 发布 · 228 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习 #深度学习 #人工智能

ICLR 2025
现有的 Actor-Critic 算法在连续控制强化学习 (RL) 任务中非常流行，但由于缺乏有效的探索机制，导致样本效率低下。受 Thompson 采样在 RL 中高效探索的成功案例的启发，本文提出了一种新的免模型 RL 算法，Langevin Soft Actor Critic (LSAC)，它优先通过不确定性估计来增强 critic 学习，而不是策略优化。LSAC 采用了三项关键创新：通过基于分布 Langevin Monte Carlo (LMC) 的 (Q) 值更新实现近似 Thompson 采样，通过并行回火探索 (Q) 函数后验的多种模式，以及使用 (Q) 动作梯度正则化的扩散合成状态-动作样本。大量实验表明(Mujoco、Maze以及DMC)，LSAC 在连续控制任务中的性能优于或匹配主流的免模型 RL 算法。值得注意的是，LSAC 标志着基于 LMC 的 Thompson 采样在具有连续动作空间的连续控制任务中的首次成功应用。

稳定高效的价值估计 + 多样化的数据合成
在这里插入图片描述

2021 目标检测知识蒸馏 SOTA：End-to-End Semi-Supervised Object Detection with Soft Teacher
梁瑛平的博客
10-23 2498
End-to-End Semi-Supervised Object Detection with Soft Teacher论文地址：代码地址：主要工作：具体实现：End-to-End Pseudo-Labeling Framework：Soft Teacher：Box Jittering：实验结果：消融实验： 论文地址： https://arxiv.org/abs/2106.09018 代码地址： https://github.com/microsoft/SoftTeacher 主要工作： 当前的半监督目标
论文解读《BiX-NAS: Searching Efficient Bi-directional Architecture for Medical Image Segmentation》
weixin_37591159的博客
11-09 5202
论文解读《BiX-NAS: Searching Efficient Bi-directional Architecture for Medical Image Segmentation》 论文解读《BiX-NAS:搜索医学图像分割的高效双向架构》
论文总结：Soft Actor-Critic (SAC)
yushengqinglang的博客
03-07 1094
SAC 通过结合最大熵框架、随机策略和双评论家网络，解决了 DDPG 和 TD3 在高维连续控制任务中的样本效率低和稳定性差问题。SAC 通过引入最大熵框架、随机策略和双评论家网络，解决了 DDPG 和 TD3 在高维连续控制任务中的样本效率低和稳定性差问题。：通过最大化策略熵，SAC 鼓励探索，提升策略的鲁棒性和多样性，同时保持样本效率。使用两个独立评论家网络 \(Q_1\) 和 \(Q_2\)，取最小值减少高估偏差。：输出高斯分布策略 \(\pi_{\phi}(a|s)\)，最大化熵与累积奖励。
走出 Demo，走向现实：DeepSeek-VL 的多模态工程路线图
张彦峰的博客
08-24 10万+
本文聚焦 DeepSeek 团队最新发布的大语言模型 DeepSeek-VL，深入探讨其以任务驱动为核心的多模态设计理念。文章从真实世界中复杂且高阶的任务出发，梳理了 DeepSeek-VL 在视觉问答、图像字幕、表格理解、地图导航等方面的能力突破，并指出该模型不再仅追求“看图说话”，而是强调在多模态输入下的任务对齐、信息提取与推理能力。通过剖析其工程思路与模型范式，本文认为 DeepSeek-VL 是多模态模型迈向“实用主义智能”的重要里程碑。
【教程】RF-DETR：SOTA实时目标检测模型介绍与使用教程
阿旭的博客
03-29 5546
【教程】RF-DETR：SOTA实时目标检测模型介绍与使用教程
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals
认真努力，做一只会飞的毛毛虫。
10-13 5224
Dense：密集，指需要用很多的参数和anchor等 Sparse：稀疏，指不需要用很多的参数和anchor等 two-stage算法可以看成是one-stage算法的扩展：区别仅在于RPN输出的是二分类，而后者是多分类。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 22万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
YOLO-World：实时开放词汇目标检测
AI数据工厂
02-20 5011
本文通读了YOLO-World的论文，翻译了其关键内容。
MLMs之GPT-4：《GPT-4 Technical Report》的翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-15 1万+
​ Paper：《GPT-4 Technical Report》的翻译与解读 目录 Paper：《GPT-4 Technical Report》的翻译与解读 Abstract摘要 1、Introduction简介 2、Scope and Limitations of this Technical Report本技术报告的范围和局限 3、Predictable Scaling可预测的比例 4、Capabilities能力 5、Limitations局限性
◇【论文_20180104v1_20180808v2】Soft Actor-Critic (SAC)：off-policy 最大熵 actor-critic 算法 【关于 SAC P1】
weixin_46034116的博客
10-27 963
有些地方不太理解，欢迎评论区交流~ 🌞 https://arxiv.org/abs/1801.01290 ICML 2018 Berkeley Artificial Intelligence Research, University of California, Berkeley, USA. Correspondence to: Tuomas Haarnoja haarnoja@berkeley.edu. 伯克利人工智能研究 Soft Actor-Critic: Off-Policy Maximum
虚拟试衣&人像合成新SOTA！IMAGDressing-v1:ControlNet和IP-Adapter的最佳拍档
AIGCer的博客
07-19 2172
如前面图3所示，去噪UNet中的基本模块权重是冻结的，这使得服装UNet实际上成为一个适配器模块，与其他社区适配器兼容，以实现自定义面部和姿势生成。例如，要生成穿着给定服装和一致姿势的人的图像，IMAGDressing-v1可以与ControlNet-Openpose结合。要生成穿着指定服装的特定个人，IMAGDressing-v1可以与IP-Adapter集成。此外，如果需要同时指定姿势和面部，IMAGDressing-v1可以与ControlNet-Openpose和IP-Adapter结合使用。
DriveMM： All-in-One Large Multimodal Model for Autonomous Driving
Miracle8070
01-19 2401
多模态模型(LMM)结合大语言模型(LMM)，在自动驾驶(AutonomousDriving,AD)领域展现出色的理解和解释能力。但是当前数据驱动的AD方法往往集中在单个数据集和特定任务上，忽视整体和泛化能力。为了弥补这些差距，本文提出了提出了一体化LMM，DriveMM，一个通用的大型多模态模型，该模型接收多样化的数据输入，例如图像和多视角视频，旨在有效处理AD中的各种驾驶场景和任务，比如感知、预测和规划等。
人工智能安全（三）CODES：CodeS: Towards Building Open-source Language Models for Text-to-SQL
m0_37697141的博客
11-11 1520
语言模型在将自然语言问题转换为SQL查询（文本到SQL）的任务中表现出了良好的性能。然而，大多数最先进的（SOTA）方法都依赖于强大但闭源的大型语言模型（LLM），如ChatGPT和GPT-4，这些模型可能存在模型架构不明确、数据隐私风险和昂贵的推理开销等局限性。为了解决这些局限性，我们引入了CodeS，这是一系列预先训练的语言模型，参数范围从1B到15B，专门为文本到SQL任务设计。CodeS是一个完全开源的语言模型，它以更小的参数大小实现了更高的精度。本文研究了构建CodeS的研究挑战。
向量搜索技术深度研究报告：架构原理、核心算法与企业级应用范式
north_eagle的专栏
11-24 1551
信息检索技术的演进历程，本质上是人类试图让机器理解语言深层含义的漫长探索。从早期的布尔逻辑检索、倒排索引（Inverted Index）到如今的向量搜索（Vector Search），这一领域的每一次飞跃都重塑了数据交互的边界。当前，随着大语言模型（LLM）的爆发式增长和检索增强生成（RAG）架构的普及，向量搜索技术已从学术界的边缘课题跃升为企业级AI基础设施的核心组件。
【LeetCode】算法技巧专题（持续更新）
weixin_52199109的博客
11-24 627
持续记录更新。
【算法】day 20 leetcode 贪心
最新发布
2401_86272648的博客
11-25 269
类似层序遍历，left 标记当前第 x 跳的左边界，right 标记当前第 x 跳的右边界，遍历 left 到 right 区间的值，计算 num[i]+i = 下一跳到达的位置，最大位置标记为 maxIndex，即下一跳的右边界。遍历数组，找到每种字母的右边界，用 hash 表存储，每种字母的最后一个字母的位置会覆盖前面的位置，从而获得每种字母的右边界。再遍历数组，获取已经遍历过的字母中，右边界最大位置，如果最大位置就是当前遍历字母的右边界，则此字母是分割点。时间复杂度：O(n)，只遍历了一遍数组。
【剑斩OFFER】算法的暴力美学——只出现一次的数字 ||
就业知识博客
11-24 438
力扣137题：只出现一次的数字 ||
优选算法-队列+宽搜（BFS）：73.在每个树行中找最大值
要努力去发光，而不是被照亮~
11-25 253
优选算法-队列+宽搜（BFS）：73.在每个树行中找最大值解析
优选算法-字符串：64.字符串相乘
要努力去发光，而不是被照亮~
11-24 168
优选算法-字符串：64.字符串相乘解析
DQN 相比于Actor-Critic框架的其他方法有什么优势
11-04
<think>我们正在讨论DQN相对于Actor-Critic框架下其他方法的优势。用户已经提供了站内引用，其中包含了一些关于Actor-Critic（包括A2C、A3C等）以及DQN的背景信息。根据这些引用和之前的对话历史，我们需要总结DQN的优势。 回顾之前的回答，我们已经将强化学习方法分类，其中DQN属于值函数方法（value-based），而Actor-Critic属于策略梯度方法（policy-based）与值函数方法的结合。 根据引用[2]和[4]，我们可以知道： - DQN是深度Q网络的扩展，使用神经网络来逼近Q函数，适用于离散动作空间。 - Actor-Critic结合了策略梯度和值函数（如Q函数或V函数）评估，可以处理连续动作空间（如DDPG）和离散动作空间（如A2C/A3C）。 现在，用户的问题是：DQN相比于Actor-Critic框架的其他方法的优势。 我们考虑从以下几个角度分析： 1. **算法简洁性**：DQN算法结构相对简单，只需要学习一个Q网络，而Actor-Critic通常需要同时学习策略网络（Actor）和值网络（Critic），结构更复杂。 2. **训练稳定性**：DQN通过经验回放和目标网络等技术来稳定训练，尽管Actor-Critic的一些方法（如PPO）也有稳定措施，但DQN在离散动作空间中的稳定性已经得到广泛验证。 3. **样本效率**：DQN利用经验回放可以重复利用样本，提高样本效率。而某些Actor-Critic方法（如A3C）采用异步更新，不使用经验回放，样本效率相对较低（但如A2C使用同步更新，且有些Actor-Critic也引入了经验回放，如DDPG，所以这一点需要对比说明）。 4. **适用场景**：DQN在离散动作空间（如游戏）中表现优异，而Actor-Critic框架下的方法（如DDPG、SAC）则更适合连续动作空间。因此，在离散动作问题上，DQN及其变种（如Rainbow）往往更简单有效。 5. **探索机制**：DQN通常使用ε-greedy进行探索，简单直接；而Actor-Critic方法则可以通过策略网络的随机性（如熵正则化）进行探索，但这也增加了策略优化的难度。 根据引用[1]和[5]，Actor-Critic方法中Critic的估计（如Q或V）可能存在偏差，并且同时估计两个网络可能带来更大的估计偏差。而DQN只需要估计一个Q网络，且通过目标网络固定目标值，可以减少偏差。 因此，我们可以总结DQN的优势如下： - **结构简单**：只需训练一个Q网络，而Actor-Critic需要同时训练Actor和Critic两个网络，训练难度和调参难度更大。 - **稳定性**：在离散动作空间中，DQN结合目标网络和经验回放，训练过程相对稳定。 - **样本利用率高**：经验回放机制允许重复利用过往经验，提高样本效率（但注意，一些Actor-Critic方法如DDPG也使用了经验回放，所以这一点在比较时需限定在基本方法上）。 - **在离散动作空间的高效性**：DQN及其变种（如Rainbow）在Atari等离散动作环境中取得了非常好的效果，而Actor-Critic在离散动作空间虽然也能用（如A2C），但通常需要更多调参。 但也要注意，在连续动作空间，DQN无法直接应用（需要离散化），而Actor-Critic框架下的DDPG、PPO、SAC等则可以直接处理连续动作。 因此，我们可以这样回答： DQN相比Actor-Critic框架的其他方法（如A2C、A3C）在离散动作空间中具有以下优势： 1. **实现与调参简单**：DQN仅需维护一个Q网络和目标网络，而Actor-Critic需要同时优化策略网络和价值网络，并平衡两者训练[^2][^5]。 2. **训练稳定性**：通过目标网络固定TD目标，经验回放减少样本相关性，使得DQN训练波动较小（尽管仍有改进空间）[^4]。 3. **样本效率**：经验回放机制允许重复利用历史数据，而基础Actor-Critic（如A3C）采用在线更新，样本效率较低（但注意，部分Actor-Critic如DDPG也引入经验回放）[^4]。 4. **探索机制直观**：ε-greedy策略简单可控，而Actor-Critic的探索依赖策略网络随机性，需额外设计（如熵正则化）[^2]。 然而，在连续动作空间（如机器人控制）中，Actor-Critic方法（如DDPG、PPO）则展现出明显优势，因为DQN无法直接输出连续动作值[^3][^4]。 最后，生成相关问题。 </think>DQN（Deep Q-Network）相较于Actor-Critic框架的其他方法（如A2C、PPO、DDPG等）在特定场景下具有显著优势，主要表现在以下四个方面： ### 一、算法结构与实现复杂度 1. **单网络架构优势** DQN只需维护单一的Q值网络（含目标网络），而Actor-Critic需同时训练策略网络（Actor）和价值网络（Critic）。这使得DQN的**实现复杂度更低**，调参难度更小[^4]。 ```mermaid graph LR DQN[输入状态] --> Q_Net[Q网络] --> 输出动作值 ActorCritic[输入状态] --> Actor_Net[策略网络] & Critic_Net[价值网络] ``` 2. **训练稳定性** 通过**目标网络冻结**和**经验回放**两大核心技术： - 目标网络：固定TD目标 $Q_{\text{target}}(s',a')$，减少自举误差 - 经验回放：打破数据相关性，降低方差 而Actor-Critic类方法（如A3C）需平衡双网络更新速率，易出现策略振荡[^5]。 --- ### 二、样本效率与探索机制 1. **经验重用能力** DQN的经验回放池允许**重复利用历史样本**，显著提升样本效率。例如在Atari游戏中，DQN单帧数据平均复用3-5次，而同步Actor-Critic（如A2C）需实时采集新样本[^4]。 2. **确定性探索机制** DQN采用$\epsilon$-greedy探索： $$a = \begin{cases} \text{random action} & \text{w.p. } \epsilon \\ \arg\max_a Q(s,a) & \text{w.p. } 1-\epsilon \end{cases}$$ 相比Actor-Critic依赖策略熵正则化（如SAC的熵项$-\alpha \log \pi(a|s)$），其探索行为**更可控且易于调试**[^2]。 --- ### 三、离散动作空间的性能优势 | **特性** | DQN | Actor-Critic | |------------------|----------------------|------------------------| | 动作空间适应性 | 离散空间最优 | 需结构调整（如离散化）| | 收敛速度 | 更快（Atari 1M帧） | 较慢（PPO需2-3倍帧数）| | 超参数敏感性 | 中等（主要调$\epsilon$） | 高（需平衡双网络） | > 在离散动作任务（如游戏AI、推荐系统）中，Rainbow DQN（整合7项改进）仍是SOTA方案[^4] --- ### 四、理论保证与可解释性 1. **收敛性明确** DQN基于Bellman最优方程： $$Q^*(s,a) = \mathbb{E}\left[ r + \gamma \max_{a'} Q^*(s',a') \right]$$ 其收敛性有严格理论支撑，而Actor-Critic的梯度估计存在**近似偏差问题**（如Critic网络的$Q_{\pi}$估计误差会放大策略梯度偏差）[^5]。 2. **价值函数可视化** DQN的Q值映射可直接解释状态价值，而Actor-Critic的策略网络决策过程**更隐晦**，增加调试难度[^2]。 --- ### 典型场景对比 - ✅ **DQN首选场景**： - 离散动作空间（游戏控制、组合优化） - 需要快速原型验证的场景 - 资源受限设备（减少网络参数量） - ❌ **Actor-Critic优势场景**： - 连续控制（机器人、自动驾驶） - 高维状态需策略熵最大化探索 - 多智能体协作（如MADDPG） > ️ 注意：DQN无法直接处理连续动作（需离散化导致维度灾难），此时应选用DDPG/SAC等Actor-Critic变体[^3] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值