luemeon的博客

有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F

目录1. R-CNN 1.1提取候选区域1.1.1合并规则1.1.2多样化与后处理1.2特征提取1.2.1预处理2.Faste RCNN2.1RoI Pooling Layer3.Faster RCNN​​​​​​​结构RPNanchor（目标框）分类和定位4.Mask RCNN框架 算法 RoIAlign Mask branch 一类是基于Region Proposal的R-CNN系算法（R-CNN，Fast R-CNN, Faster R-CNN等）先算法产生目标候选框，然后再对候选框做分类与回归，

参考链接：Vision Transformer详解_太阳花的小绿豆的博客-优快云博客_vit详解ViT论文逐段精读【论文精读】 - 哔哩哔哩Transformer：NLP，input：token（向量）序列，即二维矩阵[num_token, token_dim]Vision Transformer：CV，input：图像数据数据格式为[H, W, C]三维矩阵将输入图片(224x224)按照16x16大小的Patch进行划分， (224/16)^2=196个Patches。通过线性映射将每个Patch映射

参考：深入理解transformer源码_了不起的赵队的博客-优快云博客_transformer源码图解Transformer（完整版）_龙心尘的博客-优快云博客_transformer史上最小白之Transformer详解_Stink1995的博客-优快云博客_transformer神经网络自注意力：输入句子中，其他单词对某个单词的影响前馈神经网络：输入句子中，同一位置的单词，前馈神经网络一致编码-解码自注意力：输入句子的相关部分矢量是一阶张量、矩阵是二阶张量假设词嵌入的维数为4，则实际的位置编码