分层的概念

分层的概念

在深度学习中，分层（Hierarchical）是一种常见的概念，用于描述一种层次结构的模型或方法。分层意味着将问题或任务分解为多个较小的子问题或子任务，并在不同的层级上进行处理。每个层级可以专注于解决特定的问题，然后将结果传递给更高层级进行进一步处理。这种分层的思想可以提高模型的表达能力和学习能力，并且常常被用于处理复杂的视觉、语音和自然语言处理等任务。

SwinTransformer中的窗口概念

SwinTransformer是一种基于Transformer架构的图像分类模型，它在处理图像时引入了窗口（Window）的概念。传统的Transformer模型通常将整个输入图像划分为固定大小的图块，然后将它们展平成序列进行处理。然而，这种方法在处理高分辨率图像时会面临计算和内存的挑战。

为了解决这个问题，SwinTransformer引入了窗口机制。它将输入图像划分为一系列大小相同的窗口，每个窗口包含固定数量的像素。这种划分方式使得模型可以处理大尺寸图像，同时减少了计算和内存的需求。同时，为了保持窗口之间的上下文信息，SwinTransformer采用了滑动窗口的策略，即相邻的窗口之间有重叠的部分。

每个block要完成的任务

在SwinTransformer中，每个block都有两个主要任务：局部特征提取和全局特征整合。

1. 局部特征提取：每个