- 博客(12)
- 收藏
- 关注
原创 强化学习的数学原理 赵世钰 笔记 第十节 Actor-Critic 方法
对于梯度,有∇θJθES∼ηA∼π∇θlnπA∣SθqπSAES∼ηA∼π∇θlnπA∣SθqπSA−bS∇θJθES∼ηA∼π∇θlnπA∣SθqπSA)]ES∼ηA∼π∇θlnπA∣SθqπSA−bS))]。
2025-11-04 23:10:29
550
原创 强化学习的数学原理 赵世钰 笔记 第九节 策略梯度方法
平均状态价值,简写为average value,即vˉπ∑s∈Sdsvπsvˉπs∈S∑dsvπs其中dsd(s)ds是每个状态的权重,或者说s的概率分布,所以可以将上述定义式写为vˉπEvπSS∼dvˉπEvπS)]S∼dvˉπ∑s∈Sdsvπsd⊤vπvˉπ∑s∈Sdsvπsd⊤vπ,便于分析梯度。
2025-11-03 16:08:04
837
原创 强化学习的数学原理 赵世钰 笔记 第八节 值函数近似
上一节[[时序差分方法]]基于tabular形式的方式→基于函数的方式的TD learning使用表格的方式存储开销较大,泛化性差;而使用函数的方式存储开销小,泛化性高。
2025-11-01 20:09:29
651
原创 强化学习的数学原理 赵世钰 笔记 第七节 时序差分方法
vt1stvtst−αtstvtst−rt1γvtst11vt1svts∀s≠st2vt1stvtst−αtstvtst−rt1γvtst1)]vt1svts∀sst12这里的t代表t时刻,sts_tst表示t时刻访问的状态,0αt10αt1。
2025-11-01 20:07:13
924
原创 强化学习的数学原理 赵世钰 笔记 第六节 随机近似理论&随机梯度下降
wk1wk−akgwkηkwk1wk−akgwkηk其中,wkw_kwk是第k个估计的根,gwkηkgwkηkgwkηkgwkηk是带有噪声的观测,ak0a_k > 0ak0是一个系数。这个g函数实际上是一个黑盒,我们根据数据:输入序列wk\{w_k\}wk和输出序列gwkηkgwkηk)}
2025-11-01 20:05:48
788
原创 强化学习的数学原理 赵世钰 笔记 第六节 随机近似理论&随机梯度下降
wk1wk−akgwkηkwk1wk−akgwkηk其中,wkw_kwk是第k个估计的根,gwkηkgwkηkgwkηkgwkηk是带有噪声的观测,ak0a_k > 0ak0是一个系数。这个g函数实际上是一个黑盒,我们根据数据:输入序列wk\{w_k\}wk和输出序列gwkηkgwkηk)}
2025-10-27 17:06:01
530
原创 强化学习的数学原理 赵世钰 笔记 第五节 Monte Carlo 方法
上一章[[值迭代&策略迭代]]蒙特卡洛方法是一个的方法,背后的数学原理就是。
2025-10-26 22:02:12
554
原创 强化学习的数学原理 赵世钰 笔记 第三节 贝尔曼最优公式
vsmaxπ∑aπa∣sqsas∈Svsπmaxa∑πa∣sqsas∈S在其中需要先找到最优的policy。矩阵向量形式就是加上最优的bellman公式的矩阵向量形式vmaxπrπγPπvvπmaxrπγPπv。
2025-10-26 21:57:57
846
原创 Jetbrains产品开发使用docker环境并在宿主机中调试设置
我现在在使用clion进行开发,语言是C++,环境是在docker容器中创建的,相应的库文件头文件等等都是在docker容器中,而我的CLion安装在windows的宿主机上,由于Clion默认是使用宿主机上的开发环境和目录,这导致了无意义的提示和报错,这导致Clion的可视化debug不能够很好的被使用,我应该如何设置Clion使用容器中的环境呢。应注意CMake和最下面的Debugger需要在镜像中下载cmake和gdb调试工具.,其中Toolchain选择刚刚配置好的那个.其他选项按照个人需求选择,
2025-02-22 21:36:52
757
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅