- 博客(78)
- 收藏
- 关注
RSS订阅
原创 19_损失函数简介
在深度学习中,, 衡量的方式是比较网络输出和真实输出的差异。下面按照不同的任务类型,来介绍常见的损失函数作用:指导模型的训练过程，通过反向传播算法计算梯度，从而更新网络的参数，最终使得模型的预测结果尽可能接近真实值。损失函数的选择对模型训练的收敛速度、效果和稳定性具有重要影响。
2026-10-10 17:28:26
191
原创 15_随机梯度下降算法的可靠性分析[pytorch框架与神经网络基础]
在现代深度学习和机器学习中,通常我们使用随机梯度下降(在现代大模型语境下泛指SGD和Mini-Batch梯度下降法,在统计意义,这两者基本相同)来代替全量梯度下降,即使用部分样本的梯度来代替全量梯度。现在我们来对其可靠性和收敛性进行分析。
2026-09-24 12:15:15
242
原创 16-估计量的评选标准[无偏性，有效性，相合性，均方误差准则]
设X1X2⋯Xn是总体X的一个样本，θ∈Θ是包含在总体X的分布中的待估参数，这里Θ是θ的取值范围。若估计量θθX1X2⋯Xn的数学期望Eθ存在，且对于任意θ∈Θ有Eθθ则称θ是θ的。估计量的无偏性是说对于某些样本值，由这一估计量得到的估计值相对于真值来说偏大，有些则偏小。反复将这一估计量使用多次，就“平均”来说其偏差为零。在科学技术中Eθ−θ称为以θ作为θ的估计的系统误差。
2026-08-05 17:22:18
256
原创 15-参数的点估计方法[矩估计,极大似然估计]
设总体X的分布函数Fx;θ的形式为已知，θ是待估参数。X1X2⋯Xn是X的一个样本，x1x2⋯xn是相应的一个样本值。点估计问题就是要构造一个适当的统计量θX1X2⋯Xn，用它的观测值θx1x2⋯xn作为未知参数θ的近似值。我们称θX1X2⋯Xn为θ的，称θx1x2⋯xn为θ。
2026-08-04 16:43:21
225
原创 14-样本及抽样分布[统计学原理基础]
定义 总体，就是所有研究对象对应的数据集合。总体与随机变量: 总体中的每一个个体都是随机试验的一个观测值，一个总体对应一个随机变量XXX，一个分布FFF。定义 设 XXX 是具有分布函数 FFF 的随机变量，若 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn 是具有同一分布函数 FFF 的、相互独立的随机变量，则称 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_nX1,X2,⋯,Xn 为从分布函数 FFF（或总体 FFF、或总体
2026-08-04 15:17:42
328
原创 13-中心极限定理
设随机变量X1X2⋯Xn⋯EXkμDXkσ20k12⋯，则随机变量之和k1∑nXk的标准化变量YnD∑k1nXk∑k1nXk−E∑k1nXknσ∑k1nXk−nμ的分布函数Fnx对于任意x满足n→∞limFnxn→∞limPnσ∑k1n。
2026-08-04 13:15:00
243
原创 12- 大数定律及相关概念
设随机变量X具有数学期望EXμ，方差DXσ2，则对于任意正数ε，不等式P∣X−μ∣≥ε≤ε2σ2成立。这一不等式称为。以连续型随机变量的情况为例。设X的概率密度为fx，则有P∣X−μ∣≥ε∫∣x−μ∣≥εfxdx≤∫∣x−μ∣≥εε2∣x−μ∣2fxdx≤ε21∫−∞∞x−μ2fxdxε2σ2P∣X−。
2026-08-04 13:05:24
233
原创 07-多维随机变量及其分布
定义 设 EEE 是一个随机试验,它的样本空间为 Ω={ω}\Omega = \{ \omega \}Ω={ω}, Xi=Xi(ω)，(i=1,2,⋯n)X_i = X_i(\omega) ， (i = 1,2,\cdots n)Xi=Xi(ω)，(i=1,2,⋯n)是定义在 Ω\OmegaΩ 上的 nnn 个随机变量.则称(X1,X2,⋯ ,Xn)(X_1,X_2,\cdots,X_n)(X1,X2,⋯,Xn)为n维随机变量或n维随机向量,Xi=Xi(ω)，(i=1,2,⋯n)X_i = X_i
2026-08-03 11:25:51
263
原创 [强化学习基础06-2 Sarsa算法]
摘要：Sarsa是一种基于时序差分(TD)的同策略强化学习算法，通过五元组$(S_t,A_t,R_{t+1},S_{t+1},A_{t+1})$更新动作价值函数$Q(s,a)$。其核心更新公式为$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha[r_{t+1} + \gamma Q(s_{t+1},a_{t+1}) - Q(s_t,a_t)]$，采用ε-greedy策略平衡探索与利用，既用于生成经验数据，也用于计算TD目标。该算法通过在线学习方式，在未知环境模型的情况下实现
2026-01-20 16:41:41
557
原创 【强化学习杂记】TD-Learning的数学理解
本文从不动点视角解释了TD(0)算法中TD target更新的合理性。首先指出TD(0)通过TD误差将当前价值估计向TD目标$r_{t+1}+\gamma V(s_{t+1})$收缩，每次更新严格缩小二者距离。然后联系贝尔曼期望方程，说明真实价值函数是TD更新的不动点，TD学习本质是寻找一步推进后自洽的函数。最后从局部收缩、全局算子性质和长期收敛三个层面证明反复迭代会收敛到$V^\pi$。整个分析揭示了TD(0)更新不是经验性调整，而是基于严格数学基础的收缩过程。
2026-01-08 18:49:33
1025
原创 [强化学习基础06-1 TD-Learning]
首先，我们将TD更新看作一个算子（operator）对价值函数的作用。定义TD算子TπR∣S∣→R∣S∣TπR∣S∣→R∣S∣TπVsEπrt1γVst1∣stsTπVsEπrt1γVst1∣stsTπVs∑aπa∣s∑s′rps′r∣sarγVs′TπVsa∑πa∣ss′r∑ps′。
2026-01-05 20:15:10
1002
1
原创 [强化学习基础05-3] 动态规划之价值迭代
本文介绍了强化学习中价值迭代算法的原理与实现。价值迭代通过直接应用贝尔曼最优方程进行动态规划，将策略评估和策略提升合并为一步操作。算法流程包括初始化价值函数、迭代更新直至收敛，最后提取最优策略。文章证明了价值迭代的收敛性，并对比了其与策略迭代的区别：价值迭代实现简单但迭代次数较多，策略迭代计算量大但收敛更快。通过网格世界示例展示了价值迭代的更新过程。该算法适用于大多数强化学习场景，是动态规划方法中的重要技术。
2026-01-05 16:33:41
720
原创 [强化学习杂记] 从数学角度理解贝尔曼最优公式为什么是greedy？
本文讨论了贝尔曼最优公式的相关概念。首先定义了最优策略的存在条件，提出了关于最优策略的四个关键问题。通过状态价值下的贝尔曼最优公式，说明了确定性策略下最优动作的选择原理。文中通过数学示例展示了如何求解包含两个未知数的方程，类比说明了求解最优策略的过程。最后论证了在已知动作价值的情况下，选择最大价值动作作为最优策略的合理性。这些内容为理解强化学习中的最优策略求解提供了理论基础。
2026-01-05 16:12:25
887
原创 [强化学习基础05-2] 压缩映射定理
本文介绍了强化学习中的压缩映射定理及其在策略迭代中的应用。压缩映射定理表明，在完备度量空间中，压缩映射存在唯一不动点，可通过迭代收敛求得。在马尔可夫决策过程中，Bellman算子是压缩映射，其不动点即为状态价值函数。文章通过数学推导证明Bellman算子在无穷范数下满足压缩条件（压缩系数为折扣因子γ）。最后以4×4网格世界为例，展示了均匀随机策略下价值函数的迭代更新过程，直观演示了压缩映射定理在强化学习中的具体应用。
2026-01-04 16:51:17
1055
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人