- 博客(20)
- 收藏
- 关注
RSS订阅原创 强化学习的数学原理第十章-Actor_Critic方法（自用）
在前面的学习中，我们已经掌握了两大类强化学习方法：Value-Based方法：PolicyBased方法（策略梯度）：Actor-Critic的核心理念：结合两者优点！QAC = Q-learning + Actor使用TD学习：δt=rt+γQw(st+1,at+1)−Qw(st,at)\delta_t = r_t + \gamma Q_w(s_{t+1}, a_{t+1}) - Q_w(s_t, a_t)δt=rt+γQw(st+1,at+1)−Qw(st,at)wt+1=wt+αw
2026-04-02 21:00:39
392
原创 强化学习的数学原理第九章-策略梯度（自用）
本文介绍了强化学习中的策略梯度方法，主要对比了基于价值和基于策略的两类算法。策略梯度方法直接参数化策略πθ(a|s)，通过优化参数θ来最大化目标函数J(θ)，具有处理连续动作空间、收敛稳定和内在探索等优势。文章详细阐述了策略梯度定理的核心思想，推导了梯度上升公式，并介绍了REINFORCE算法——通过蒙特卡洛采样获取回报Gt来更新策略参数。该方法能自然平衡探索与利用，当Gt较大时增强该动作概率，较小时降低概率以鼓励探索。策略梯度方法为强化学习提供了直接优化策略的有效途径。
2026-04-01 16:11:38
391
原创 强化学习的数学原理第八章-价值函数近似
在前七章中，我们讨论的所有算法都有一个共同特点：用表格（Table）来表示价值函数。具体来说：表格表示的优点：表格表示的致命缺陷：这就是价值函数近似（Value Function Approximation）登场的原因！价值函数近似的精髓：不是存储每个状态的价值，而是学习一个函数，用少数参数来捕获价值的规律。表格方法（笨拙）：函数近似方法（聪明）：V(s)=w1⋅面积+w2⋅地段+w3⋅户型+bV(s) = w_1 \cdot \text{面积} + w_2 \cdot \text{地段} + w_3 \
2026-04-01 16:09:48
394
原创 强化学习的数学原理第七章-TD Learning（自用）
时序差分学习（TD Learning）是一种结合蒙特卡洛方法和动态规划优点的强化学习算法。TD学习的核心思想是通过一步信息更新价值估计，使用TD目标（即时奖励+折扣后的估计）替代完整回报，实现更高效的学习。TD(λ)算法进一步扩展了这一思想，通过λ参数平衡多步预测，用资格迹机制实现在线信用分配。相比蒙特卡洛方法，TD学习具有方差低、无需等待完整轨迹的优势，同时避免了动态规划对模型的要求。理论分析表明TD学习在适当条件下能收敛到最优解，其随机梯度下降特性使其成为强化学习中最核心的算法之一。
2026-03-31 11:33:36
409
原创 强化学习的数学原理第六章-随机近似和随机梯度下降（自用）
随机近似与随机梯度下降摘要 本章介绍了强化学习中随机近似理论与随机梯度下降方法。首先通过均值估计问题引出增量式估计方法，相比批处理具有内存效率高、实时更新的优势。然后详细阐述了Robbins-Monro算法，这一求解随机求根问题的通用框架，分析了其收敛条件和理论保证。最后比较了梯度下降、批量梯度下降和随机梯度下降三种优化方法，重点说明SGD通过单样本梯度估计实现高效计算，虽然收敛路径震荡但最终能收敛。本章为后续时序差分学习奠定了重要的数学基础，揭示了如何在模型未知情况下通过随机采样进行有效学习和优化。
2026-03-29 22:03:51
418
原创 强化学习的数学原理第五章-MC learning（自用）
蒙特卡洛方法（Monte Carlo Method）：通过大量随机采样和统计估计来求解数学问题的方法。它的名字来源于摩纳哥的蒙特卡洛赌场——因为这种方法本质上就像在赌场里反复下注，通过观察大量随机结果来估计胜率。抛硬币的例子模型方法：直接计算EX0.5×10.5×−10EX0.5×10.5×−10蒙特卡洛方法：实际抛 10000 次硬币，统计正反面比例，估算期望如果你不知道硬币的物理性质（模型），蒙特卡洛方法是唯一的选择！
2026-03-29 22:02:06
453
原创 强化学习的数学原理-值迭代和策略迭代（自用）
本文介绍了强化学习中两种核心算法：值迭代和策略迭代。值迭代通过直接迭代价值函数，利用贝尔曼最优算子逐步逼近最优价值函数，最终提取最优策略；而策略迭代则交替进行策略评估和改进，显式维护和更新策略。值迭代简单直观但收敛较慢，策略迭代效率更高但计算复杂度较高。文章还讨论了算法的收敛性、实现细节和优缺点，并通过具体例子演示了计算过程。
2026-03-26 09:50:48
434
原创 强化学习的数学原理-贝尔曼最优公式（自用）
摘要： 贝尔曼最优公式是强化学习的核心理论框架，用于寻找最优策略和最优价值函数。它通过最大化动作价值来定义最优状态价值 (v_(s)) 和最优动作价值 (q_(s,a))，其核心方程为非线性方程组，引入了 (\max) 操作符以实现策略优化。与普通贝尔曼公式不同，贝尔曼最优公式通过不动点理论和压缩映射保证解的唯一性和收敛性。关键定理表明，贝尔曼最优算子是压缩映射，其不动点即为最优价值函数。这一理论为后续动态规划、值迭代和策略迭代等算法奠定了数学基础，是解决马尔可夫决策过程优化问题的核心工具。
2026-03-26 09:49:41
368
原创 强化学习的数学原理-贝尔曼公式（自用）
摘要： 贝尔曼公式是强化学习中评估策略价值的核心工具。它通过引入折扣率γ解决无限期交互问题，将回报定义为未来奖励的折现总和。状态价值v_π(s)表示从状态s出发在策略π下的期望回报，其计算需考虑策略和环境的随机性。贝尔曼公式的关键在于递归分解思想：一个状态的价值等于即时奖励加上折扣后的未来价值期望，形成自指涉的方程组。该公式可表示为矩阵形式v=R+γPv，其中R为奖励向量，P为状态转移矩阵。这种结构化表达为策略评估和优化提供了理论基础。
2026-03-25 16:18:21
467
原创 强化学习的数学原理第一章讲解（自用）
摘要：强化学习基础与马尔可夫决策过程 强化学习是一种通过试错与环境交互来优化决策的机器学习方法。其核心框架是马尔可夫决策过程(MDP)，由五元组(状态空间S,动作空间A,状态转移概率P,奖励函数R,折扣因子γ)构成。MDP的关键特性是马尔可夫性：未来状态仅取决于当前状态和动作。评估策略好坏的核心工具是贝尔曼公式，它定义了状态价值函数vπ(s)和动作价值函数qπ(s,a)，分别表示从状态s出发遵循策略π或执行动作a后的期望回报。折扣因子γ(0≤γ≤1)控制着对即时奖励和长期回报的权衡程度，γ越小越重视眼前利益
2026-03-25 11:31:10
383
原创 Minimind项目源代码详细解析（4）FFN(SwiGLU) 代码详细解析
本文解析了现代LLM中常用的SwiGLU型FFN网络结构。相比传统ReLU激活的FFN，SwiGLU采用门控机制和SiLu激活函数，通过升维-门控点乘-降维的方式处理信息，效果更优。代码实现包含三个线性层（门控、升维、降维）和激活函数，其中中间层维度通常设为隐藏层的8/3倍（LLaMA）或4倍（GPT）。文章还对比了不同激活函数的特性，指出SiLU因其平滑性和自门控特性，特别适合Transformer架构。
2026-03-16 13:59:15
257
原创 Minimind项目源码详细解析（2）Attention机制
本文详细解析了注意力机制(Attention)在大语言模型(LLM)中的实现原理和代码细节。核心内容包括： 注意力机制原理：通过Q(查询)、K(键)、V(值)三个矩阵计算token间的依赖关系，使用softmax将相似度转换为概率分布。 多头注意力(Multi-Head Attention)：将token向量分成多个头，每个头关注不同维度的语义信息，最后拼接结果。 分组查询注意力(GQA)：通过复用KV头减少参数数量，提高效率。 代码实现细节： 使用线性变换生成QKV矩阵 应用RoPE旋转位置编码 KV缓存
2026-03-12 23:45:48
353
原创 Minimind项目源码详细解析（1）（RMSNorm）
本文解析了MiniMind轻量级语言模型中的RMSNorm模块。MiniMind是一个超小型开源语言模型项目，仅需25.8M参数，训练成本低至3元人民币。文章重点分析了模型中的RMSNorm归一化层，相比LayerNorm，RMSNorm通过去除均值计算保留尺度不变性，提高了计算效率。代码实现展示了如何通过平方根倒数计算实现RMS归一化，并解释了归一化在解决数值爆炸、梯度消失和优化注意力机制等方面的重要作用。这种轻量设计使MiniMind能在普通GPU上快速完成训练。
2026-03-11 10:58:25
430
原创 裴蜀定理 和 扩展欧几里得算法
当方程满足ax+by = gcd（a,b)时 我们可以通过扩展欧几里得定理给出一组特解。首先 我们可以看出这个函数是一个递归的关系，下面我们展示一下这个递归是怎么来的。裴蜀定理就是ax+by = gcd（a,b)时一定有整数解。
2024-07-10 21:09:16
218
原创 迪杰斯特拉算法 Dijkstra的堆优化
朴素版本的dj就是在更新距离时我们用距离最近的那个点更新别的点，然后此点就不会再改变了，随后我们在未确定最短距离的点中寻找最近的距离的点，再用它更新别的点，重复以上步骤。
2024-07-06 00:07:12
321
原创 记忆化搜索
其实记忆化搜索的本质还是搜索 思维难度并不高 在一个比较复杂的题目中 我们想要通过dfs做题 但是dfs的复杂度太高 我们有时候可以发现我们重复计算了很多的内容 记忆化搜索就是把我们计算出的内容存下来 从而减少计算量。
2024-07-01 22:37:52
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人