Life1213的博客

第一个全连接层相当于进行一次矩阵乘法，列数=嵌入向量的维度，每行与嵌入向量相乘。一般第一个全连接层都会提升向量的维度。第一个全连接层的目的是为得到嵌入向量与各类语义特征之间的相关性，具体解释如下：我们可以将矩阵的每行视作一个向量，那么矩阵乘法的结果就由嵌入向量和这些向量的点积构成。而正如之前学的，点积的大小代表了它们之间的相似度。这样的话，我们可以将每行向量都代表了一种语义特征或一个问题，通过矩阵乘法就可以得到嵌入向量与各类语义特征之间的相关性，为后面使用。

这篇论文的实验与对实验结果的分析都十分详细，实验部分不仅细节详细，而且实验考虑了多种情况进行对比，可以从实验结果中得到各种结论，

在医学图像分割领域中，CNN是主流，其中UNet十分常用。尽管基于CNN的方法有优秀的表征能力，对局部信息有很好的效果，但是其固有的局限性导致。现在出现了使用Transformer进行分割，Transformer在，但因此，本文提出将，并结合UNet的U型结构。结合二者的优点，让网络既可以获得低级特征，又可以获得全局上下文。TransUNet具有强大的学习的能力。

都是用于标准化数据的，Batch Normalization是用于图像预处理的，而Layer Normalization最初是用于自然语音的，但随着Transformer在图像的使用，Layer Normalization也用于图像中。我们在图像预处理过程中通常会对图像，这样能够加速网络的收敛。

在治疗neovascular age-related macular degeneration (nAMD)时，对视网膜的SD-OCT图像进行分割很重要。原因：经过下采样会导致空间信息的损失，而该模型需要使用空间推理能力来分割图像，因此需要补充这些信息。表示模型能够较好地识别出所有真实的负类样本，避免将健康的样本误诊为正类，在图像分割邻域，空间推理用于理解图像中像素或区域的。为了提高自动分割的性能，解决UNet的学习过程会。的深度学习模型，常用于非欧几里得空间的数据。例如，在医学图像中，某些病灶区域的。

Transformer模型最初是使用在NLP中，但近几年Transformer模型在图像上的使用越来越频繁，最新的模型也出现了很多基于Transfomer的，而其中，它是用于图像分类的，这里就以这个模型来学习Transformer模型是如何在图像领域使用的。

在自注意力编码中，所有a的计算都并行同时执行得到对应的b，可以并行就代表着a之间是，这存在问题。在不使用位置编码时，将a2​与a3​的顺序打乱，不会影响a1​输出的数据。

回顾自注意力机制多头自注意力机制多头自注意力机制可以理解为由多个自注意力模块，也就是自注意力头（head）组成。每个head都有自己的QKV矩阵来进行自注意力计算。计算过程① 得到各个head所需的QKV：计算过程中会将原本的qi,ki,viq_i,k_i,v_iqi​,ki​,vi​分为多份，分配到对应的head中，一般会均分QKV的向量，这样每个head有了所需的QKV数据，以此每个head都可以使用自注意力机制。下图是有2个head的情况，可以看到将q,k,vq,k,vq,k,v都

自注意力机制是规定了数据自身来作为查询对象与被查询对象。

在一张图像中，包含了各种信息，而我们会自动关注重要的信息。下图是注意力热力图，可以发现人们会注意兔子的脸这些重要信息。而在深度学习中，输入数据包含了重要的数据与不重要的数据，但对于一个模型来说，它不知道哪些数据是重要的。因此提出了注意力机制，如何在深度学习模型上使用注意力，让模型关注于重要的数据。