价值函数近似

价值函数逼近

在传统TD算法、Q-leanring中，V价值和Q价值通常是用表格存储，不适用于大规模问题。可以采用近似器来拟合真实的价值函数。
$Q(s,a,\theta )\approx Q_{\pi }(s,a)$
$V(s,\theta )\approx V_{\pi }(s)$
用一个带$\theta$参数的函数近似器，来代替真实的价值函数，通过训练，找到合适的参数$\theta$，使得两者的误差尽可能小。($\theta$是一系列参数的总称，不是指只有一个参数，${\theta }^T=[{\theta }_1,{\theta }_2,...]$)
常用的近似器有线性模型、神经网络、决策树、最近邻法等。
强化学习的样本数据是非静态的，且非独立同分布(后一个状态往往与前一个状态有很强的关联性)，因此要求近似器也要适用于非静态、非独立同分布的数据。

价值函数近似求解

找到了合适的价值函数的近似器$V(s,\theta )$，如何找到合适的$\theta$，使得近似器能够真正代替真实$V_{\pi }(s)$。建立一个两者的平方误差函数，
$$J(\theta )=E[(V_{\pi }(s)-(V(s,\theta ){)}^2]$$
转化成求函数$J(\theta )$的优化问题，即找到$\theta$使得J(θ)J(\theta)