自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 强化学习的数学原理 赵世钰 笔记 第十节 Actor-Critic 方法

对于梯度,有∇θJθES∼ηA∼π∇θln⁡πA∣SθqπSAES∼ηA∼π∇θln⁡πA∣SθqπSA−bS∇θ​Jθ​ES∼ηA∼π​∇θ​lnπA∣Sθqπ​SA)]ES∼ηA∼π​∇θ​lnπA∣Sθqπ​SA−bS))]​。

2025-11-04 23:10:29 550

原创 强化学习的数学原理 赵世钰 笔记 第九节 策略梯度方法

平均状态价值,简写为average value,即vˉπ∑s∈Sdsvπsvˉπ​s∈S∑​dsvπ​s其中dsd(s)ds是每个状态的权重,或者说s的概率分布,所以可以将上述定义式写为vˉπEvπSS∼dvˉπ​Evπ​S)]S∼dvˉπ∑s∈Sdsvπsd⊤vπvˉπ​∑s∈S​dsvπ​sd⊤vπ​,便于分析梯度。

2025-11-03 16:08:04 837

原创 强化学习的数学原理 赵世钰 笔记 第八节 值函数近似

上一节[[时序差分方法]]基于tabular形式的方式→基于函数的方式的TD learning使用表格的方式存储开销较大,泛化性差;而使用函数的方式存储开销小,泛化性高。

2025-11-01 20:09:29 651

原创 强化学习的数学原理 赵世钰 笔记 第七节 时序差分方法

vt1stvtst−αtstvtst−rt1γvtst11vt1svts∀s≠st2vt1​st​vt​st​−αt​st​vt​st​−rt1​γvt​st1​)]vt1​svt​s∀sst​​12​这里的t代表t时刻,sts_tst​表示t时刻访问的状态,0αt10αt​1。

2025-11-01 20:07:13 924

原创 强化学习的数学原理 赵世钰 笔记 第六节 随机近似理论&随机梯度下降

wk1wk−akgwkηkwk1​wk​−ak​g​wk​ηk​其中,wkw_kwk​是第k个估计的根,gwkηkgwkηkg​wk​ηk​gwk​ηk​是带有噪声的观测,ak0a_k > 0ak​0是一个系数。这个g函数实际上是一个黑盒,我们根据数据:输入序列wk\{w_k\}wk​和输出序列gwkηkg​wk​ηk​)}

2025-11-01 20:05:48 788

原创 强化学习的数学原理 赵世钰 笔记 第六节 随机近似理论&随机梯度下降

wk1wk−akgwkηkwk1​wk​−ak​g​wk​ηk​其中,wkw_kwk​是第k个估计的根,gwkηkgwkηkg​wk​ηk​gwk​ηk​是带有噪声的观测,ak0a_k > 0ak​0是一个系数。这个g函数实际上是一个黑盒,我们根据数据:输入序列wk\{w_k\}wk​和输出序列gwkηkg​wk​ηk​)}

2025-10-27 17:06:01 530

原创 强化学习的数学原理 赵世钰 笔记 第五节 Monte Carlo 方法

上一章[[值迭代&策略迭代]]蒙特卡洛方法是一个的方法,背后的数学原理就是。

2025-10-26 22:02:12 554

原创 强化学习的数学原理 赵世钰 笔记 第四节 值迭代&策略迭代

上一章[[贝尔曼最优公式]]

2025-10-26 22:00:56 897

原创 强化学习的数学原理 赵世钰 笔记 第三节 贝尔曼最优公式

vsmax⁡π∑aπa∣sqsas∈Svsπmax​a∑​πa∣sqsas∈S在其中需要先找到最优的policy。矩阵向量形式就是加上最优的bellman公式的矩阵向量形式vmax⁡πrπγPπvvπmax​rπ​γPπ​v。

2025-10-26 21:57:57 846

原创 强化学习的数学原理 赵世钰 笔记 第二节 Bellman Equation 贝尔曼公式

上一章[[强化学习入门]]

2025-10-26 21:56:27 528

原创 强化学习的数学原理 赵世钰 笔记 第一节 强化学习入门

本人使用obsidian做的笔记,数学公式等可能无法正常显示。

2025-10-26 21:54:16 163

原创 Jetbrains产品开发使用docker环境并在宿主机中调试设置

我现在在使用clion进行开发,语言是C++,环境是在docker容器中创建的,相应的库文件头文件等等都是在docker容器中,而我的CLion安装在windows的宿主机上,由于Clion默认是使用宿主机上的开发环境和目录,这导致了无意义的提示和报错,这导致Clion的可视化debug不能够很好的被使用,我应该如何设置Clion使用容器中的环境呢。应注意CMake和最下面的Debugger需要在镜像中下载cmake和gdb调试工具.,其中Toolchain选择刚刚配置好的那个.其他选项按照个人需求选择,

2025-02-22 21:36:52 757 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除