【强化学习】常用算法之一 “SAC”

最新推荐文章于 2025-10-16 11:42:29 发布
原创 最新推荐文章于 2025-10-16 11:42:29 发布 · 1.1w 阅读 · 118 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #python #强化学习 #人工智能

本文详细介绍了SAC（SoftActor-Critic）算法，一种强化学习方法，用于连续动作空间的策略优化。SAC结合策略优化和价值函数学习，通过熵优化和自适应温度参数提高智能体的探索效率和稳定性。文中还给出了SAC算法的公式、原理、功能，并提供了Python代码示例，展示如何训练和测试SAC算法在倒立摆环境中的应用。

 

作者主页：爱笑的男孩。的博客_优快云博客-深度学习,活动,python领域博主爱笑的男孩。擅长深度学习,活动,python,等方面的知识,爱笑的男孩。关注算法,python,计算机视觉,图像处理,深度学习,pytorch,神经网络,opencv领域.https://blog.youkuaiyun.com/Code_and516?type=blog个人简介：打工人。

持续分享：机器学习、深度学习、python相关内容、日常BUG解决方法及Windows&Linux实践小技巧。

如发现文章有误，麻烦请指出，我会及时去纠正。有其他需要可以私信我或者发我邮箱:zhilong666@foxmail.com 

        强化学习（Reinforcement Learning）是一种机器学习的方法，通过让智能体在与环境的交互中学习来制定策略，以最大化预期的累积奖励。SAC（Soft Actor-Critic）算法是一种强化学习算法，它结合了策略优化和价值函数学习，实现对连续动作空间的鲁棒性采样优化。

本文将详细讲解强化学习常用算法之一“SAC”

目录

一、简介

二、发展史

三、算法公式

策略更新公式：

Q值函数更新公式：

值函数更新公式：

四、算法原理

        1. 策略优化

        2. 价值函数学习

        3. 熵优化

        4. 自适应温度参数

五、算法功能

六、示例代码

七、总结

一、简介

        强化学习（Reinforcement Learning，RL）是一种机器学习的分支，其目标是让智能体（agent）通过与环境的交互学习到最优的行为策略。SAC（Soft Actor-Critic）算法是近年来在强化学习领域取得重要突破的算法之一，它是一种基于策略优化和价值函数学习的算法。相对于传统的强化学习算法，SAC算法在优化过程中引入了熵正则化和软化策略更新的概念，使得智能体能够更好地探索未知的状态，提高学习效率。

二、发展史

        SAC算法的发展离不开前人的工作。在介绍SAC算法之前，我们先了解一些相关的算法。

        1. DQN（Deep Q-Networks） DQN是由DeepMind提出的一种强化学习算法，它首次将深度神经网络与Q-Learning相结合。

        通过使用经验回放和目标网络来提升学习的稳定性，DQN算法在很多基准测试中都取得了优异的结果。

        2. DDPG（Deep Deterministic Policy Gradient） DDPG是一种用于连续动作空间的深度强化学习算法，它结合了深度神经网络和确定性策略梯度。

        DDPG算法在连续控制问题上取得了很好的表现，并被广泛用于实际应用中。

       3. SAC算法的前身 SAC算法的前身包括TD3（Twin Delayed DDPG）和DDPG算法。

        TD3算法在DDPG算法的基础上引入了双网络和延迟更新，进一步提升了算法的性能。SAC算法在TD3算法的基础上进一步拓展，引入了熵优化和自适应温度参数等技术，以适应更复杂的任务。

        SAC算法最早由Haarnoja等人于2018年提出，并发表在期刊《Journal of Machine Learning Research》中。该算法结合了Actor-Critic方法和强化学习中的熵概念，为强化学习中的连续控制任务提供了一种更高效、更稳定的解决方案。

三、算法公式

        SAC算法主要由以下几个核心公式组成：

  • 策略更新公式：

        其中，∇θpolicy​​J(θpolicy​)表示策略的梯度，π(a∣s)表示策略在状态s下采取动作a的概率，Qπ(s,a)表示状态动作对(s,a)的值函数，α表示熵调节系数，V~(s)表示柔化的值函数。 

  • Q值函数更新公式：

        其中，Q(s,a)表示状态动作对(s,a)的值函数，r(s,a)表示在状态s采取动作a时获得的即时奖励，γ表示折扣因子，V(s′)表示状态s's′的值函数，p(s′∣s,a)表示在状态s采取动作a后转移到状态s′的转移概率。 

  • 值函数更新公式：

        其中，V(s)表示状态ss的值函数，a ∼π表示从策略π中采样得到动作a。

四、算法原理

        SAC算法采用了一系列技术来实现在连续动作空间的鲁棒性采样优化。下面介绍SAC算法的主要原理：

        1. 策略优化

        SAC算法使用策略梯度方法来进行优化。通过最大化软Q值的目标函数，SAC算法能够有效地在连续动作空间进行采样，以提高采样效率和优化性能。

        2. 价值函数学习

        SAC算法引入了值函数的学习，通过学习值函数，可以更准确地估计状态-动作对的价值。值函数的学习可以通过最小化Bellman误差来实现，进一步提高算法的性能。

&n

最低0.47元/天 解锁文章
深度强化学习之SAC（Soft Actor-Critic）
JustinMars的博客
06-27 1822
AC通过引入策略熵来鼓励探索，同时采用双Q网络减少估计偏差，具有较好的稳定性和性能。上述代码示例展示了SAC的基本实现和训练过程，适用于连续动作空间的强化学习任务。
连续动作的强化学习算法——SAC
爱学习的小王的博客
05-10 6343
Soft Actor-Critic   目前来说，关于连续动作的强化学习算法，经常使用到的就是PPO、DDPG和SAC以及在此基础上的改进算法，这里主要说一下SAC算法。 介绍   首先SAC算法是基于Off-Policy的，因此会用到Replay Buffer，使用过去的样本经验进行学习，这会使得算法的稳定性和收敛性有一定的困难，特别是在连续的状态和动作空间下。然后是基于Actor-Critic的，同时基于值和策略进行评估，可以实现单步更新。SAC则是在此基础上，要求最大化期望的同时最大化策略分布的熵，以
【深度强化学习】(7) SAC 模型解析，附Pytorch完整代码
热门推荐
博观而约取，厚积而薄发
03-15 3万+
Deepmind 提出的 SAC (Soft Actor Critic) 算法是一种基于最大熵的无模型的深度强化学习算法，适合于真实世界的机器人学习技能。SAC 算法的效率非常高，它解决了离散动作空间和连续性动作空间的强化学习问题。SAC 算法在以最大化未来累积奖励的基础上引入了最大熵的概念，加入熵的目的是增强鲁棒性和智能体的探索能力。SAC 算法的目的是使未来累积奖励值和熵最大化，使得策略尽可能随机，即每个动作输出的概率尽可能的分散，而不是集中在一个动作上。
SAC算法、MASAC算法与DSAC算法对比分析
YUANQIANG2024的博客
10-16 1178
SAC算法是MASAC和DSAC的共同基础，三者均采用最大熵强化学习框架。SAC通过最大化策略熵增强探索能力，使用双Critic网络防止Q值高估。DSAC在SAC基础上将Q值扩展为价值分布，适用于风险敏感场景。MASAC则将SAC扩展到多智能体领域，采用集中训练分散执行架构。三者改进方向正交：DSAC深化价值表示，MASAC扩展应用范围，可进一步结合为多智能体分布SAC。SAC作为现代强化学习基线，其衍生算法在不同场景展现出优势。
强化学习笔记之【SAC算法】
rvdgdsva的博客
10-11 3526
强化学习第4篇.强化学习方向的学习者可以参考或者复刻
【强化学习】SAC算法
m0_63642362的博客
09-18 4517
强化学习SAC算法+Pendulum的paddle版实现
强化学习之SAC（soft actor-critic）算法
weixin_44436360的博客
08-18 3万+
强化学习之SAC（soft actor-critic）算法 PPO算法是目前最主流的DRL算法，但是PPO是一种on-policy算法，存在sample inefficiency的缺点，需要巨量的采样才能学习。DDPG及其拓展是面向连续控制的off-policy的算法，相对于PPO来说更sample efficient，但是它存在对其超参数敏感，收敛效果差的问题。SAC算法是面向最大熵强化学习开发的一种off-policy算法。与DDPG相比，SAC使用的是随机策略，相比确定性策略具有一定的优势。 随机策略
【强化学习】Soft Actor-Critic (SAC) 算法
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
01-07 1万+
Soft Actor-Critic（SAC） 是一种最先进的强化学习算法，属于 Actor-Critic 方法的变体。它特别适合处理 连续动作空间，并通过引入最大熵（Maximum Entropy）强化学习的思想，解决了许多传统算法中的稳定性和探索问题。
SAC（Soft Actor-Critic）深度强化学习算法
hong161688的博客
01-04 1952
SAC（Soft Actor-Critic）是一种深度强化学习算法，它结合了最大熵强化学习和基于策略梯度的方法。以下是对SAC算法的数学原理、网络架构及其PyTorch实现的详细阐述：一、数学原理SAC算法的核心思想是在最大化期望回报的同时，最大化策略的熵。熵是衡量策略随机性的指标，通过最大化熵，SAC算法鼓励智能体在探索和利用之间找到平衡，从而提高策略的稳定性和性能。
强化学习——SAC算法
Yolandalt7777777的博客
10-05 1410
SAC算法
【强化学习】Soft Actor-Critic (SAC) 算法详解
Loving_enjoy的博客
01-07 1806
其中，ρπ\rho_\piρπ​是根据策略π\piπ产生的状态-动作分布，H\mathcal{H}H是策略的熵，α\alphaα是熵的权重，控制探索和利用之间的平衡。自动驾驶需要处理大量的环境信息和复杂的决策问题，SAC算法通过最大熵强化学习和行动者-评论家框架，实现了对环境的有效探索和策略的优化，提高了自动驾驶系统的安全性和性能。SAC算法结合了最大熵强化学习和基于策略梯度的方法，通过最大化期望回报和策略熵，使得策略既能探索环境又能利用已知信息，从而提高了策略的稳定性和性能。
【强化学习自动驾驶】使用SAC算法同时控制转向和速度
12-12
在莫凡的虚拟环境基础上进行修改 SAC改动很少 在windows系统 cuda10.1 tensorflow2.2 tensorflow-probability 0.6.0 tensorlayer >=2.0.0 效果还行
强化学习经典算法实现
weixin_62805843的博客
12-14 1242
强化学习经典算法实现
深度强化学习算法之SAC算法
欢迎来到菜鸡小文的博客
08-04 1万+
深度强化学习算法之SAC（Soft Actor Critic）算法 文章地址： Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor Soft Actor-Critic Algorithms and Applications 代码地址： demo1 demo2 参考地址： BLOG1 BLOG2 BLOG3 BLOG4 1、最大熵强化学习 一般的强化学习的目标
动手学强化学习笔记-SAC算法
qq_73355475的博客
09-20 8512
对于连续动作空间的环境，SAC算法的策略网络输出高斯分布的均值和标准差，但是根据高斯分布来采样动作的过程是不可导的（是因为高斯分布的采样是通过随机抽取标准正态分布（也称为高斯分布的变量）加上平均值和标准差的乘积得到的。而在某个最优动作比较确定的状态小，熵的取值就可以小一点。这个公式是指通过最小化动作分布的KL散度来改进策略，括号中的右半部分表示基于当前值函数和归一化因子的指数型动作分布，通过最小化 KL 散度，我们能够使改善后的策略更接近于基于当前值函数的指数型动作分布，从而提高整体策略的性能。
【强化学习】18 —— SAC（ Soft Actor-Critic）
sinat_52032317的博客
11-12 9970
之前的章节提到过在线策略算法的采样效率比较低，我们通常更倾向于使用离线策略算法。然而，虽然 DDPG 是离线策略算法，但是它的训练非常不稳定，收敛性较差，对超参数比较敏感，也难以适应不同的复杂环境。2018 年，一个更加稳定的离线策略算法 Soft Actor-Critic（SAC）被提出。SAC 的前身是 Soft Q-learning，它们都属于最大熵强化学习的范畴。Soft Q-learning 不存在一个显式的策略函数，而是使用一个函数QQQ的波尔兹曼分布，在连续空间下求解非常麻烦。于是 SAC 提
【强化学习笔记】(5) SAC
qq_44389347的博客
05-09 2123
Soft Actor Critic (SAC) 是一种off-policy的算法，结合随机策略优化与DDPG
强化学习SAC算法简介
ahah12345678的博客
10-18 2619
SAC算法能够高效地解决连续动作空间中的强化学习问题，尤其适用于具有高维度状态空间和动作空间的问题。self.action_logits = self.policy_model(np.zeros((1, state_size), dtype=np.float32), training=True) # 初始化策略函数输出。（4）利用所学习的价值函数对策略进行评估，并利用所学习的策略函数选择具有最大期望回报的动作。4.更新策略函数：利用所收集的经验，使用梯度上升方法更新策略函数。
SAC 强化学习
最新发布
10-29
<think>首先，用户的问题是关于SAC强化学习的原理、应用和代码实现。参考了提供的引用，我需要基于这些信息来回答。 - 引用[1]：提到SAC是一种强化学习方法，有潜力在各种场景中实现高效学习，但面临计算资源需求和探索能力局限等挑战。未来可能面向更复杂环境。 - 引用[2]：详细介绍了SAC作为Actor-Critic方法的变体，适合连续动作空间，通过最大熵强化学习解决探索和稳定性问题。提到了挑战包括探索与利用的平衡、样本效率等。 - 引用[3]：讨论了强化学习与监督学习的区别，强调强化学习从自身经验学习，而不是依赖标记数据。 用户的查询包括原理、应用和代码实现。上一次对话是系统指令和示例，没有直接相关的内容，所以我要基于当前引用和一般知识构建回答。 回答结构： - 系统指令要求中文回答。 - 行内数学表达式用$...$，独立公式用$$...$$。 - 生成相关问题。 - 引用段落末尾添加引用标识如[^1]。 结构化的回答： 1. **原理**：解释SAC的核心思想，基于引用[2]，包括最大熵强化学习、Actor-Critic框架。 2. **应用**：讨论SAC的应用场景，基于引用[1]和一般知识。 3. **代码实现**：提供代码示例或描述，可能使用Python，因为引用中提到Matlab，但SAC常用Python实现。我可以参考标准实现。 4. **相关问题**：在末尾生成相关问题。 确保LaTeX语法正确： - 如果有数学表达式，比如熵或概率分布，使用$...$格式。 - 例如，熵公式：$H(\pi) = \mathbb{E}[-\log \pi(a|s)]$。 代码部分： - 系统指令有示例代码块，所以我应该用代码块展示SAC的代码实现。 - 例如，Python代码实现SAC的核心部分。 中文回答： - 全程使用中文。 生成相关问题： - 在回答末尾，添加§§相关问题§§部分，列出3-5个相关问题。 引用标识： - 当引用[1]或[2]的内容时，在段落末尾添加[^1]或[^2]。 完整回答大纲： - 开头介绍SAC。 - 原理部分：解释背景、核心思想、数学基础。 - 应用部分：描述典型应用场景。 - 代码实现：提供伪代码或简化Python代码。 - 挑战与未来：基于引用[1]讨论。 - 相关问题。 代码实现： - SAC算法涉及Actor网络、Critic网络、值函数等。我可以展示一个简单的Python代码片段，使用神经网络框架如PyTorch或TensorFlow。 - 示例代码块，类似快速排序示例。 确保真实可靠： - 基于标准SAC论文和引用内容。 最终回答： - 以清晰段落呈现。 </think>### SAC强化学习的原理、应用及代码实现 Soft Actor-Critic (SAC) 是一种基于最大熵强化学习框架的先进算法，属于Actor-Critic方法的变体。它特别适用于连续动作空间问题，通过引入熵正则化（entropy regularization）来提高探索能力和训练稳定性。与传统强化学习方法相比，SAC在样本效率和收敛性方面表现出色[^2]。下面我将从原理、应用和代码实现三个方面逐步解释。 #### 1. SAC的原理 SAC的核心思想是将最大熵原则融入强化学习目标中。在强化学习中，智能体通过与环境的交互学习策略，以最大化累积奖励。SAC通过添加熵项（表示策略的随机性）来优化目标函数，鼓励智能体在探索新动作和利用已知最优动作之间保持平衡。 关键数学原理： - **目标函数**：SAC最大化带有熵正则化的奖励函数： $$ \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t \left( r(s_t, a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t)) \right) \right] $$ 其中，$\gamma \in [0,1)$ 是折扣因子，$r$ 是即时奖励，$\alpha > 0$ 是温度参数（调节熵的重要性），$\mathcal{H}(\pi)$ 是策略 $\pi$ 的熵，定义为 $\mathcal{H}(\pi) = \mathbb{E}_{a \sim \pi} [-\log \pi(a|s)]$。这有助于平衡探索（高熵）与利用（高奖励）[^2]。 - **算法框架**：SAC采用Actor-Critic架构： - **Actor**：学习策略 $\pi(a|s)$，输出动作的概率分布（例如高斯分布）。 - **Critic**：学习两个Q函数（Q-networks）和一个值函数（V-network）。Q函数近似动作值（$Q(s,a)$），值函数近似状态值（$V(s)$）。 - **优化过程**：通过最小化Bellman误差来更新Critic网络，同时更新Actor以最大化Q值和熵。SAC还使用目标网络（target networks）和软更新（soft update）来稳定训练。 SAC解决了传统强化学习算法在连续动作空间中的挑战，如训练发散或收敛缓慢的问题[^2]。其优势包括良好的样本效率和鲁棒性，但计算资源需求较高，尤其在复杂环境中[^1]。 #### 2. SAC的应用 SAC广泛应用于需要高效学习和连续控制的场景，尤其在机器人控制、自动驾驶和游戏AI领域： - **机器人控制**：用于机械臂操作或步态控制，SAC能处理高维连续动作空间，实现平滑的运动规划。 - **自动驾驶**：在模拟环境中训练车辆导航策略，SAC通过熵正则化增强对不确定环境的适应能力。 - **游戏AI**：如OpenAI Gym中的MuJoCo环境或Atari游戏，SAC表现出色，因为它能高效探索新策略。 - **现实工业场景**：包括资源调度和能源管理，SAC可优化决策过程[^1]。 SAC的应用潜力巨大，但面临挑战，如计算资源密集和探索能力局限（在高维或稀疏奖励环境中）。未来研究方向可能包括结合迁移学习以处理更复杂任务[^1]。 #### 3. SAC的代码实现 SAC的代码实现通常使用Python框架如PyTorch或TensorFlow。以下是一个简化版的SAC核心代码（基于PyTorch），展示了Actor网络、Critic网络和训练循环。代码假设使用OpenAI Gym的连续控制环境（如`Pendulum-v1`）。完整实现需包括经验回放（replay buffer）和软更新机制。 ```python import torch import torch.nn as nn import torch.optim as optim import gym # 定义Actor网络：输出动作的概率分布（高斯） class Actor(nn.Module): def __init__(self, state_dim, action_dim): super(Actor, self).__init__() self.fc1 = nn.Linear(state_dim, 256) self.fc2 = nn.Linear(256, 256) self.mu = nn.Linear(256, action_dim) # 均值 self.log_std = nn.Linear(256, action_dim) # 对数标准差 def forward(self, state): x = torch.relu(self.fc1(state)) x = torch.relu(self.fc2(x)) mu = self.mu(x) log_std = self.log_std(x) log_std = torch.clamp(log_std, min=-20, max=2) # 限制标准差范围 return mu, log_std def sample_action(self, state): mu, log_std = self.forward(state) std = torch.exp(log_std) normal = torch.distributions.Normal(mu, std) action = normal.rsample() # 重参数化采样 return action, normal.log_prob(action).sum(dim=-1) # 定义Q网络（Critic部分） class QNetwork(nn.Module): def __init__(self, state_dim, action_dim): super(QNetwork, self).__init__() self.fc1 = nn.Linear(state_dim + action_dim, 256) self.fc2 = nn.Linear(256, 256) self.fc3 = nn.Linear(256, 1) def forward(self, state, action): x = torch.cat([state, action], dim=1) x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) return self.fc3(x) # SAC训练循环（简化版，省略经验回放和目标网络） def sac_train(env_name='Pendulum-v1', num_episodes=1000): env = gym.make(env_name) state_dim = env.observation_space.shape[0] action_dim = env.action_space.shape[0] actor = Actor(state_dim, action_dim) q_net1 = QNetwork(state_dim, action_dim) q_net2 = QNetwork(state_dim, action_dim) optimizer_actor = optim.Adam(actor.parameters(), lr=3e-4) optimizer_q1 = optim.Adam(q_net1.parameters(), lr=3e-4) optimizer_q2 = optim.Adam(q_net2.parameters(), lr=3e-4) alpha = 0.2 # 温度参数 for episode in range(num_episodes): state = env.reset() total_reward = 0 done = False while not done: state_tensor = torch.FloatTensor(state).unsqueeze(0) action, log_prob = actor.sample_action(state_tensor) next_state, reward, done, _ = env.step(action.detach().numpy().squeeze()) # 更新Critic：最小化Bellman误差 with torch.no_grad(): next_action, next_log_prob = actor.sample_action(torch.FloatTensor(next_state).unsqueeze(0)) target_q = reward + 0.99 * (min(q_net1(torch.FloatTensor(next_state).unsqueeze(0), next_action), q_net2(torch.FloatTensor(next_state).unsqueeze(0), next_action)) - alpha * next_log_prob) current_q1 = q_net1(torch.FloatTensor(state).unsqueeze(0), action) q_loss1 = nn.MSELoss()(current_q1, target_q) optimizer_q1.zero_grad() q_loss1.backward() optimizer_q1.step() # 类似更新第二个Q网络（代码省略） # 更新Actor：最大化Q值和熵 q_value = min(q_net1(state_tensor, action), q_net2(state_tensor, action)) actor_loss = -(q_value - alpha * log_prob).mean() optimizer_actor.zero_grad() actor_loss.backward() optimizer_actor.step() state = next_state total_reward += reward if episode % 100 == 0: print(f"Episode: {episode}, Reward: {total_reward}") # 注意：实际实现需要经验回放和目标网络以减少相关性和稳定训练。 ``` 这段代码展示了SAC的核心逻辑：Actor采样动作时引入熵项，Critic使用双Q网络以减少过估计。完整项目中，还需添加经验回放（存储状态转移元组）和软更新（通过参数$\tau$缓慢更新目标网络）。参考实现可查阅开源库，如Stable-Baselines3[^2]。 SAC的潜力在于它在不确定环境中表现优异，但训练可能耗时，尤其在高维状态空间中[^1]。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱笑的男孩。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值