Albert2X的博客

Gt=rt+γrt+1+γ2rt+2+⋯=∑l=0∞γlrt+lG_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2}+\dots=\sum_{l=0}^{\infty}\gamma^l r_{t+l}Gt​=rt​+γrt+1​+γ2rt+2​+⋯=l=0∑∞​γlrt+l​γ∈(0,1]\gamma\in(0,1]γ∈(0,1]：折扣因子Vπ(st)=Eπ[Gt∣st]Qπ(st,at)=Eπ[Gt∣st,at]Aπ(st,at)=Qπ(st,at)−Vπ(st

马尔可夫决策过程五元组MSAPrρ0γMSAPrρ0​γSS：状态空间，AA：动作空间；状态转移分布Ps′∣saPs′∣sa：执行动作aaa从状态sss跳转到s′s's′的概率；即时奖励函数rS×A→RrS×A→R，单步奖励rtrstatrt​rst​at​；ρ0s\rho_0(s)ρ0​s：初始状态s0s_0s0​的采样分布；折扣系数γ∈01。

在正式推导前，我们需要先明确对流输运的物理图景。在物理学或概率场中，对流输运指的是守恒量（如质量、电荷、或分布概率）伴随介质的宏观速度场发生整体迁移的过程。你可以将其直观地理解为“物质随波逐流”——就像水面上的树叶被河水裹挟着向前运动一样。它区别于因微观热运动产生的浓度扩散（Diffusion）。当介质（或分布）以速度场vrtvrt发生整体运动时，我们可以通过微元几何关系严谨导出J\mathbf{J}J的表达式。根据前面关于流密度矢量J\mathbf{J}J。

普通RNN (Recurrent Neural Network)输入： xtx_txt​循环层： ht=f(Wxhxt+Whhht−1+bh)h_{t}=f\left(W_{x h} x_{t}+W_{h h} h_{t-1}+b_{h}\right)ht​=f(Wxh​xt​+Whh​ht−1​+bh​)输出： yt=g(Woht+bo)y_{t}=g\left(W_{\mathrm{o}} h_{t}+b_{\mathrm{o}}\right)y