asuiyu的博客

python里的flatten(dim)表示，从第dim个维度开始展开，将后面的维度转化为一维.也就是说，只保留dim之前的维度，其他维度的数据全都挤在dim这一维。即repeat的参数是对应维度的复制个数，上段代码为0维复制两次，1维复制两次，则得到以上运行结果。如果指定位置参数，执行 torch.squeeze(A，1) ，A的维度变为 （1，3），中间的维度被删除。如果执行 torch.unsqueeze(A，1)，数据的维度就变为了 （2，1，3）flatten() 是对多维数据的降维函数。

【代码】如何使用torch.DataParallel。

self-attention 的二次计算复杂度一直是将Transform模型应用于视觉任务时面临的一个持续挑战。另一方面，线性注意力通过精心设计的映射函数逼近Softmax操作，以其线性复杂性提供了一种更有效的替代方案。然而，当前的线性注意力方法要么遭受显着的性能下降，要么引入了映射函数的额外计算开销。在本文中，我们提出了一种新颖的聚焦线性注意力模块，以实现高效率和表现力。具体而言，我们首先从两个视角分析了导致线性注意力性能下降的因素：聚焦能力和特征多样性。为了克服这些限制，我们引入了一个简单而有效的映射函

目标检测的两种方法：CNN-based 和 Transformer-based, 前者将该任务视为 a dense local matching problem, and the latter sees it as s sparse global retrieval problem.Research in neuroscience has shown that the recognition decision in the brain is based on two processes, namely f

transformer网络结构下，为减少参数量和计算量，如何优化FFN呢？