wwl412095144的博客

基于Transformer架构的图像分割模型（如SegFormer、Swin-Unet）中，上采样和下采样结构是标准配置。下采样主要用于提取高层语义特征和减少计算成本，通过降低分辨率和聚焦于更宽范围的上下文信息。

Gumbel-Softmax 是一种可微分的替代方案，用于在神经网络中对离散类别变量进行建模与采样。其核心优势在于能够在反向传播中保留梯度信息的同时，实现对离散变量的“近似采样”。

ESM-2是一个基于Transformer架构的蛋白质语言模型，提供多个版本选择，包括从8M到15B参数的不同规模模型，适用于不同计算需求的任务。

与GPT-2使用的WebText数据集不同，GPT-3的训练数据集规模更大，包含了各种公开的互联网文本资源，如书籍、文章、网站等。Zero-shot学习的能力使得GPT-2在处理不同任务时不需要大量的标注数据，它依靠之前的无监督预训练，已经学到了丰富的语言模式。例如，给定一段简单的描述：“根据下面的文本判断它是积极的还是消极的”，GPT-3可以直接根据文本生成情感分析的结果，完全不需要微调。上的能力也得到了极大的提升。这两个组件使用 mask 的方式有非常重要的差异，直接影响了模型的能力和任务的适用性。

Two-Stream Convolutional Networks for Action Recognition in Videos作者：Karen Simonyan & Andrew Zisserman（牛津 VGG）

详解CLIP模型，包学会

最优雅的模型之一

补丁法在现有研究系统或方法中，找到其薄弱点、局限性或不合理的地方，并提出一个“补丁式”的改进。

详解Moco的流程

Moco!!

Autoencoders（MAE），其核心思想是通过对图像进行高比例遮挡，仅保留部分可见 patch，并训练模型从中重建原始图像。整体架构采用不对称设计：编码器（encoder）仅处理未被遮挡的 patch，聚焦学习图像的全局语义特征；解码器（decoder）接收全部 patch 位置（包括 mask token），以较小规模重建图像像素。

关于ViT

学习一下SimGNN，同时也重点学习一下NTN模块以及Pairwise Node Comparison等常用的操作。

来学学图卷积中的池化操作。

PyG的基本使用

GAT!图注意力卷积网络。

Attention is all you need!

attention is all you need!