StarMelt-优快云博客

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U9RL中的约束与安全三

对应于原书第九单元State Constraints and Safety Consideration,主要讲述了强化学习中的约束和安全考量。本次文章分三次发布。这是第三篇。

2025-02-20 09:58:24 970

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U9RL中的约束与安全二

对应于原书第九单元State Constraints and Safety Consideration,主要讲述了强化学习中的约束和安全考量。本次文章分三次发布。这是第二篇。

2025-02-20 09:47:14 715

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U9RL中的约束与安全一

对应于原书第九单元State Constraints and Safety Consideration,主要讲述了强化学习中的约束和安全考量。本次文章分三次发布。这是第一篇。

2025-02-20 09:36:54 762

原创控制系统可控性检验理论的变革：从模型驱动到数据驱动

数据是人工智能的三大支柱之一。近年，随着人工智能的崛起与应用，以数据为核心的系统表征方法快速进入控制领域，这导致控制系统的设计正经历从模型驱动控制（modelic control，即model-driven control）到数据驱动控制（datatic control，即data-driven control）的范式变革。清华大学李升波教授团队首次提出了微域可控性（即ϵ-可控性）概念及其检验方法，专注于解决数据驱动控制系统空间描述不完整带来的可控性检验挑战。

2024-11-27 14:52:19 741

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U8近似动态规划ADP 二

对应于原书第八单元Approximate Dynamic Programming，主要讲述了近似动态规划算法（ADP）。本次文章分两次发布。

2024-10-27 15:29:51 1012 1

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U8近似动态规划ADP 一

对应于原书第八单元Approximate Dynamic Programming，主要讲述了近似动态规划算法（ADP）。本次文章分两次发布。

2024-10-27 15:29:15 1019

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U7Direct RL二

对应于原书第七单元Direct RL with Policy Gradient。本篇博客分为两次发布。

2024-10-08 08:56:52 904

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U7Direct RL一

对应于原书第七单元Direct RL with Policy Gradient。本篇博客分为两次发布。

2024-10-08 08:55:46 477

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记——U6函数近似间接RL2

对应于原书第六单元Indirect RL with Function Approximation。因为博客太长，因此分成几部分发布。这是第二部分。

2024-09-18 17:21:40 1562

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记——U6函数近似间接RL1

对应于原书第六单元Indirect RL with Function Approximation。因为博客太长，因此分成几部分发布。这是第一部分。

2024-09-18 17:20:56 884

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记——U5：动态规划（三）

原书第五单元DP（动态规划）部分。本部分因为内容太多，因此分成几部分发布。这是第三部分。

2024-09-01 10:54:58 1057

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记——U5：动态规划（二）

原书第五单元DP（动态规划）部分。本部分因为内容太多，因此分成几部分发布。这是第二部分。

2024-09-01 10:54:36 1914

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记——U5：动态规划（一）

原书第五单元DP（动态规划）部分。本部分因为内容太多，因此分成几部分发布。这是第一部分。

2024-09-01 10:44:39 1084

原创 LeCun认为MPC比强化学习更好？一篇文章对比MPC与强化学习

本文从技术角度详细分析了LeCun关于近日发表的“相比于强化学习（RL），我确实更喜欢模型预测控制（MPC）。”的说法，就MPC与强化学习哪个更好提出了自己的看法。笔者认为，MPC与强化学习各有优劣。但是，在方法的灵活性、可扩展性等方面强于MPC，更适合用于解决实际情景中的复杂任务。

2024-08-28 16:10:29 2598

原创清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记——U4：TD（时序差分）

本博客介绍了TD（Temporal Difference）Learning。TD Learning是一种无模型、Indirect的强化学习方法。TD Learning最大的特点就是bootstrapping，即利用过去的value estimates来更新当前的值函数。TD Learning相较于MC，最大的好处就是不用等到一个episode结束才更新。相反，TD Learning可以通过不完整的episode来更新value function，或者在连续任务中更新（连续任务中没有episode的概念）。

2024-08-13 11:19:56 535

m0_72557046的博客