一个学习困难症患者的破博客

像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输出是一样的。词元组成的序列映射到另一个长度相等的序列，其中的每个输入词元或输出词元都由。

区域卷积神经网络（region-based CNN或regions with CNN features，R-CNN）是将深度模型应用于目标检测的开创性工作之一。

多头注意力

注意力评分函数：加性注意力，缩放点积注意力

注意力机制

训练深层神经网络是十分困难的，批量规范化（batch normalization） 是一种流行且有效的技术，可持续加速深层网络的收敛速度。

当输入包含多个通道时，需要构造一个与输入数据具有相同输入通道数的卷积核，以便与输入数据进行互相关运算。

卷积就是为了满足不变性而对全连接的一种改进