- 博客(28)
- 收藏
- 关注
RSS订阅原创 REINFORCE with Baseline
策略网络用来控制Agent，价值网络起辅助作用，作为Baseline，帮助训练策略网络。由前面的Baseline可知，算法中使用的是策略梯度的蒙特卡洛近似。，得到的算法叫REINFORCE。，所以还是要对它们做近似。一共做了三次近似，得到最终的策略梯度。用REINFORCE算法训练策略网络。策略网络和价值网络共享卷积层。这里将b设置为状态价值函数。,输出为动作概率向量。用回归算法训练价值网络。
2026-09-05 14:40:23
568
原创 策略梯度中的Baseline
算法中使用的是策略梯度的蒙特卡洛近似，b不会影响期望，但是会影响蒙特卡洛近似。的输入,函数输出每一个动作的概率，根据概率随机抽样得到动作。baseline是一个函数b，若b不依赖于动作A，则。，那么b会让蒙特卡洛近似的方差降低，算法会收敛更快。无关，b就不会影响策略梯度的正确性，即不会影响。，那么随机策略梯度的方差就会小，算法会收敛更快。的概率，根据概率随机抽样使Agent做动作。若将b设置为0，那么就变为标准策略梯度了。，可以减小整体方差，从而加速收敛。如果选的b比较好，比较接近。，Agent执行动作。
2026-09-04 20:40:55
409
原创 Dueling Network
在训练过程中，如果神经网络V和A上下波动，幅度相同但方向相反，那么Dueling Network输出毫无差别，两个神经网络都不稳定，都训练不好。Equation 1有Non-identifiability问题，无法通过。可以避免神经网络V和A的输出随意上下波动。若未来的奖励和此刻的奖励同样重要，则。是随机变量，依赖于未来的所有动作。共享卷积层，可同时训练A和V。实践中，使用平均值的效果更好。若未来的奖励不重要，则。来对对最优动作价值函数。，超参数，人工手动调。，以及未来的所有状态。
2026-09-03 20:54:39
477
原创 高估问题、Target Network、Double DQN
1.解决Boostrapping问题，不用DQN自己算出来的TD target来更新DQN，而是用另一个神经网络（target network）来计算TD target。均匀高估问题不大，非均匀高估问题很大。DQN对最优动作价值的高估是非均匀的，就会导致Agent选择被高估的动作。2.缓解maximization造成的高估问题，用double DQN，也可用target network。使用Double DQN必然可以缓解高估问题，因为Double DQN做出的估计值明显小于最大估计值。
2026-09-02 22:12:34
279
原创 Experience Replay
目录1. DQN and TD Learning2. Experience Replay2.1 Benefits of Experience Replay3. Prioritized Experience Replay强化学习的目标就是学习到policy函数 或最优动作价值函数 去控制Agent，让Agent基于当前的状态 来做出相应的动作 ，争取在未来得到尽量多的奖励。由于我们并不知道 ，因此使用神经网络 来近似 。目标是让预测值尽可能接近 ，因此对参数 的更新如下。在使用过transiti
2026-09-02 20:24:15
484
原创 Multi-Step TD Target（TD Learning）
如果使用多个奖励，那么TD target就叫做Multi-Step TD Target，会让效果变得更好。Q-Learning算法用于训练最优动作价值函数。两种算法的TD target都只包含一个。Sarsa算法用于训练动作价值函数。由前面两篇文章的推导，可得。如此递推下去，可得到。
2026-08-29 16:22:12
196
原创 Q-Learning（TD Learning）
用Sarsa算法更新价值网络（例如Actor-Critic方法里的critic)。，用Q-Learning算法更新DQN（Deep Q Network）。这个期望如何求，于是对这个期望做蒙特卡洛近似，用。Q-Learning算法用于训练最优动作价值函数。Sarsa算法用于训练动作价值函数。
2026-08-28 21:53:16
545
原创 Sarsa（TD Learning）
这个期望如何求，于是对这个期望做蒙特卡洛近似，用。每次观测到一个四元组transition。，根据table查出。
2026-08-28 21:01:54
149
原创 AlphaGo
比策略网络更稳定的方法是蒙特卡洛树搜索，为了完成蒙特卡洛树搜索，需要增加价值网络学习，这里的价值网络是对状态价值函数V的近似而不是Q的近似（之前的价值学习那里是对最优动作价值函数Q的近似）。在策略网络训练完成后，用策略网络训练价值网络（value network）（ 用的不是actor-critic方法，actor-critic方法要求同时训练策略网络和价值网络，而AlphaGo先训练策略网络后训练价值网络）。开始，后面让策略网络做自我博弈，双方都由策略网络控制，双方依次放棋子，知道分出胜负为止。
2026-08-22 17:01:33
746
原创 Actor-Critic Method
观察到状态，将带入策略函数中得到下一步所有动作的概率分布，然后对该动作的概率分布进行随机抽样得到动作 a_tAgent执行动作，环境给出当前动作的打分以及下一个状态利用状态，根据策略函数概率分布，随机抽样下一步动作，得到。但并不会真的让Agent执行。此时分别计算两个动作和状态下的动作价值函数的值：以及使用TD算法计算差值：计算价值网络的导数：用TD算法更新价值网络的参数计算策略网络的导数：用梯度上升算法更新策略网络的参数。
2026-08-21 22:05:53
397
原创 策略学习（policy-based reinforcement learning）
利用蒙特卡洛近似计算期望，也就是随机抽一个或很多样本，用随机样本来近似计算期望。，用第一种形式的策略梯度并不能处理动作是连续的场景，而用第二种形式的策略梯度可以处理动作是离散或连续的场景。是对 Policy Network 的评价，Policy Network 越好，若动作是离散的，A={"left"，"right"，"up"}，记。的输入,函数输出每一个动作的概率，根据概率随机抽样得到动作。是所有动作的集合） ，故使用 Softmax 激活函数。是策略梯度，更新策略相当于是进行了梯度上升，因此可以使。
2026-08-21 16:41:32
299
原创 价值学习（value-based reinforcement learning）
TD算法不需要完整的环境模型，也不必等到一轮交互结束，而是根据相邻时刻预测值之间的差异实时更新来训练DQN。奖励是强化学习中的监督信号，DQN靠奖励来训练，网络给动作的打分就会逐渐改进，打分越来可靠。为神经网络的输入，神经网络的输出是对所有可能动作的打分。输入DQN，给所有动作打分，选出分数最高的动作作为。的输入,函数每一个动作做评价，得到每一个动作的。去控制Agent，让Agent基于当前的状态。DQN在 t+1 时刻的输出是。，争取在未来得到尽量多的奖励。，t+1 时刻的折扣回报为。
2026-08-15 17:55:26
333
原创 CLIP 学习笔记
CLIP（Contrastive Language-Image Pre-training，对比语言-图像与训练）是 OpenAI 提出的一种视觉—语言预训练模型，旨在建立图像内容与自然语言描述之间的对应关系。与传统图像分类模型依赖固定类别标签不同，CLIP通过大规模图像—文本对进行对比学习，使图像编码器和文本编码器能够将语义匹配的图像与文本映射到相近的特征空间中。因此，CLIP 的零样本分类本质上是：将类别名称写成文本描述，再把图像分类转换成图像—文本匹配问题，这正是零样本能力的来源。
2026-08-14 19:04:36
372
原创 SwinDETR 学习笔记
SwinDETR 是将 Swin Transformer 作为骨干网络，与 DETR 检测框架相结合的一种目标检测方法。它利用Swin Transformer的分层特征结构和移位窗口自注意力机制，在控制计算量的同时提取多尺度图像特征。随后，模型通过Transformer编码器和解码器建模全局信息，并利用目标查询直接预测类别和边界框。该方法保留了DETR无锚框、无需候选区域和NMS的特点，同时增强了对小目标及尺度变化目标的检测能力。
2026-08-14 15:25:04
462
原创 DETR学习笔记
由于 Transformer 接收的是序列而不是二维特征图，特征图的空间维度被展平，若记 H′=H/32、W′=W/32，则展平后的 token 数为 H′W′=HW/1024；：使用一个三层 MLP(三层线性层） + ReLU 预测边界框，输出格式为（cx, cy, w, h），其中 cx、cy 是边界框中心点相对于整张图像的坐标，w、h是边界框宽度和高度相对于整张图像的比例，取值均在。：使用一个线性层 + Softmax 预测目标类别，类别数量为（真实类别数 + 1），多出的 1 代表“无目标”类别。
2026-08-08 16:18:00
443
原创 Transformer 学习笔记
这些权重矩阵都是随机初始化的，经过训练之后，每一组权重矩阵都会将输入嵌入（或来自较低层编码器/解码器的向量）投影到不同的表示子空间中。我们再次看到词嵌入向量大小的差异（512个，图中横着的4个方格），与q、k、v向量（64个，或图中横着的3个方格）的大小差异。在多头注意力中，我们为每个注意力头分别维护独立的 Q、K、V 权重矩阵，因此每个注意力头都会生成不同的 Q、K、V 矩阵。如果使用不同的权重矩阵，将前面介绍的自注意力计算过程独立执行 8 次，那么最终会得到 8 个不同的 Z矩阵。
2026-08-07 22:31:48
549
原创 YOLO X学习笔记
YOLO X是 Anchor-Free 检测器，因此检测头在每个特征图位置仅预测一组边界框参数：t_x，t_y，t_w，t_h其中，t_x和t_y表示目标中心点相对于当前 Grid Cell 左上角(c_x，c_y)的偏移；t_w和t_h用于预测目标框的宽度和高度。YOLO X依然使用 PANet（Path Aggregation Network）作为 Neck，通过自顶向下和自底向上的路径增强，融合不同尺度的特征图（例如 P3、P4、P5），并在三张特征图上分别进行检测，保证小物体与大物体的检测能力。
2026-08-01 14:26:08
759
原创 FCOS学习笔记
其全卷积逐像素预测方式、基于 FPN 的多尺度目标分配策略，以及用于抑制低质量检测框的 Center-ness 分支，共同构成了一个简洁而高效的单阶段检测框架。FCOS 的成功推动了 Anchor-Free 目标检测的发展，其正负样本分配、边界框距离回归和中心度建模等设计，也为后续目标检测算法提供了重要参考。推理阶段通常将分类分数与 Center-ness 分数相乘后取平方根，作为最终的检测置信度，用于降低远离目标中心位置所产生的低质量检测框的得分，从而提升整体检测性能。
2026-07-31 20:41:35
557
原创 YOLO V5学习笔记
对三个预测特征层（P3， P4， P5）上的obj损失采用不同的权重，作者说针对COCO数据集在训练时针对预测小型目标的预测特征层（P3）采用的权重是4.0，针对预测中型目标的预测特征层（P4）采用的权重是1.0，针对预测大型目标的预测特征层（P5）采用的权重是0.4。尺度筛选完成后，再结合 GT 中心点分配网格，得益于中心点回归范围调整为 (-0.5,1.5)，只要网格和 GT 中心距离在此区间内，符合尺度条件的 Anchor 都会被划为正样本，有效扩充正样本数量，改善正负样本失衡。
2026-07-25 18:51:20
350
原创 YOLO V4学习笔记
比如目标中心靠近网格上边缘时，上方网格也能拟合该 GT，左侧同理，最终一个真值最多对应 3 组正样本 Anchor，邻近网格的选取规则由 GT 中心点在网格内的偏移位置决定。YOLO V4在保持实时检测速度的前提下，显著提升了检测精度与泛化能力，兼顾实用性与落地性，不仅是YOLO系列工业化落地的关键版本，也完整诠释了现代一阶段检测器的核心优化思路，为后续各类轻量化、高精度检测模型的迭代优化提供了重要参考依据。CIoU 的直观含义是：即便预测框尚未与真实框相交，模型仍会被引导向真实框移动，并调整形状。
2026-07-25 14:46:54
520
原创 YOLO V3 学习笔记
YOLO V3 继续沿用 YOLO V2 中引入的锚框（Anchor Boxes）机制，使用 9 个不同尺寸的锚框，通过 K‑means 聚类 COCO 数据集的真实目标框得到。YOLO V3 的骨干网络名为 Darknet‑53（53个卷积层），它由连续的1x1和3x3的卷积层构成，并使用了 ResNet 的残差结构。真实目标中心点落在某个网格内，与该真实框 IOU 最大的锚框为正样本，一个真实框仅匹配一个正样本锚框。若锚框和任意真实框 IOU 超过阈值，但不是对应真实框重合程度最高的锚框，则丢弃。
2026-07-18 18:19:34
507
原创 YOLO V2 学习笔记
作者使用K-means聚类方法在训练集的物体边框数据集（注意不是图像本身，而是边框的数据）上得到了不同数量个Box，并作了对比实验，聚类的Box多了，会导致模型的计算量增大，错误率升高，Box少了会导致召回率降低。对于有目标的框，坐标误差权重设为 5；针对 anchor 导致模型早期不稳定问题，YOLO V2 不直接预测偏移量，而是预测相对于格子左上角的坐标偏移 tx、ty，再通过 sigmoid 将其约束到[0，1]，确保预测框中心落在对应的格子内，YOLO V2训练更容易，参数更容易学习，网络更稳定。
2026-07-18 15:17:49
526
原创 YOLO V1学习笔记
尽管存在定位精度不足、小目标检测差等缺陷，但它为后续 YOLO 系列（V2-V5, V7, V8, V9, V10）乃至整个单阶段检测器（如 SSD, RetinaNet）的发展铺平了道路。：包含目标的网格，我们希望其预测的 confidence 接近预测框与真实框的 IOU；在 YOLO出现之前，主流的目标检测方法（如 R-CNN 系列）大多采用“两阶段”策略：首先生成候选区域，然后对这些区域进行分类和边界框回归。1、将输入图像划分为 S×S 的网格，每个网格负责预测中心落在该网格内的目标。
2026-07-17 22:53:35
468
原创 Fast R-CNN 、Faster R-CNN学习笔记
之后接一个 RoI 池化层，然后是两个全连接层（每个接一个 ReLU），最后分支为两个输出层：一个输出 (K+1) 个类别的 Softmax 概率（K 个目标类别 + 背景），另一个输出 4*(K+1)个边界框回归参数（每个类别对应 4 个偏移量，dx、dy、dw、dh）。给定一个 RoI（由四元组 (r, c, h, w) 定义，分别表示左上角坐标和宽高）和预定的输出尺寸 H×W（如 7×7），RoI 池化将 RoI 窗口划分为 H×W 个子窗口，对每个子窗口内的特征值进行最大池化。
2026-07-11 17:01:28
624
原创 R-CNN学习笔记
它不再对整张图像进行密集滑动窗口扫描，而是先利用选择性搜索（Selective Search）等算法生成约2000个可能包含物体的候选区域（Region Proposals），然后对每个候选区域提取CNN特征，然后使用支持向量机（SVM）进行分类，最后对边界框位置进行修正。将每个候选区域缩放到固定尺寸（如227×227），然后通过预训练的CNN（如AlexNet）前向传播，提取出4096维的特征向量。为每个类别训练一个二元SVM分类器，使用上一步提取的特征对每个候选区域进行分类，判断其是否属于该类别。
2026-07-11 15:30:02
468
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人