每日一佳——Least-Squares Temporal Difference Learning（Justin A. Boyan，ICML，1999）-优快云博客

本文介绍了一种机器学习中的强化学习算法——最小二乘时间差分法（LSTD）。该方法通过消除步长因子的需求并更有效地利用样本提高了学习速度。文中提及LSTD算法最初由Bradtke和Barto提出，后来在Boyan的工作中进行了扩展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PDF

这篇Paper获得ICML1999年的Best Paper Award。好吧，看到题目我就傻眼了，讲的是啥？没办法，只能Duang一下了。（^_^)

Least-Squares：最小二乘

Temporal Difference：时间差分

原来题目的意思是《最小二乘时间差分法学习》。它是最小二乘时间差分法的升级版。

那么问题又来了：什么是最小二乘时间差分法？它有什么用？

1.想要了解最小二乘时差法的来龙去脉就要看这篇东西了：An Introduction to Temporal Difference Learning

其中讲到：The LSTD algorithm introduced by [BradtkeBarto96] eliminates the need of adapting a step size factor α . Furthermore, it improves the learning speed compared to TD by utilizing samples more efﬁciently. The function approximation introduced in Equation 4 limits the value function representation to linear functions, satisfying the limitation for the application of LSTD. In [BradtkeBarto96] the LSTD algorithm is introduced with the limitation of =0. An extended algorithm LSTD() is presented in [Boyan2002].

2.时间差分法可用于运动检测，比如某米的智能摄像机就有运动检测的功能，当有人在画面中移动的时候就可以检测到。