zengxiaojian2的博客

SPPNet通过空间金字塔池化（Spatial Pyramid Pooling，SPP）模块将输入图像转化为固定长度的特征向量，从而避免了全连接层需要固定输入大小的问题。这是因为空间金字塔池化层的计算量是对每个金字塔格子内的特征图做最大池化或平均池化，每个格子内的特征图大小为 hi×wi×C，计算量为 hiwiC，而金字塔格子的数量为 LHW，因此总的计算量为 LHWK。这是因为金字塔格子的输出通道数为 K，因此每个格子的输出大小为 1×1×K，而金字塔格子的数量为 LHW，因此总的空间复杂度为 HWK。

Query (Q): 查询向量，用于表示当前要关注的信息。每个注意力头会根据输入序列生成自己的查询向量。Q 向量用于与K 向量进行相似度计算，以确定哪些值（V）应该被关注。Key (K): 键向量，代表输入序列中每个元素的特征。每个输入元素都有一个对应的 K 向量，Q 与 K 的相似度决定了该元素对当前查询的重要性。Value (V): 值向量，实际包含的信息。每个 K 向量都有一个对应的 V 向量，最终的输出是通过加权求和 V 向量得到的，其中权重由 Q 和 K 的相似度决定。

在 Multi-head Attention 中，每个注意力头都有自己的可学习投影矩阵，这些矩阵用于将输入的查询（Query）、键（Key）和值（Value）向量映射到不同的特征空间。查询向量 (Q): 通过线性变换 Q=XWQ键向量 (K): 通过线性变换 K=XWK值向量 (V): 通过线性变换 V=XWV其中，WQ,WK,WVWQ,WK,WV 是每个头独立的可学习权重矩阵，XX 是输入序列的嵌入表示。这些矩阵将输入数据投影到不同的子空间中，使得每个头能够学习到不同的特征表示135。

的完整公式为：点积计算相似度（Q 和 K 的点积），衡量 Query 和 Key 的匹配程度。缩放处理（Scale），避免数值不稳定。可选 Mask：在需要时屏蔽特定位置。Softmax：将相似度转换为注意力权重（概率分布）。加权求和（与 V 相乘），生成注意力输出。通过这个机制，模型可以动态地关注输入序列中与当前位置相关的信息，从而实现高效的特征提取和表示学习。点积（Dot Product）是两个向量之间的一种数学操作，用于衡量两个向量的相似性。