探索的博客

大多数强化学习算法都在追“环境奖励 + something”。这个something就是未来价值的估计，来自 Bellman 方程。不同算法的区别，主要在于：something是QQQVVV、优势、TD 误差还是软 Q；这个something怎么估计；策略怎么更新。损失函数不会、也不应该优化到零，它只是逼近 Bellman 目标的工具。真正衡量强化学习好坏的，是累计回报，不是损失值。记忆口诀：它的“环境奖励 + something”是什么？

因为机器人关节大多是旋转关节。旋转运动中，和牛顿第二定律FmaF=maFmaτJθ¨τJθ¨τ\tauτ是力矩；JJJ是转动惯量；θ¨θ¨是角加速度。如果关节是移动关节，那么对应的就是力FFF和位移xxx。所以在机器人动力学中，统称它们为“广义力”。旋转关节的广义力就是力矩，移动关节的广义力就是力。从拉格朗日方程看：如果 (q) 是角度，那么 (Q) 的量纲就是 (N\cdot m)，也就是力矩。