Zssss12的博客

在本文中，我们提出了一种新的查询公式，使用动态锚框进行DETR (DEtection TRansformer)，并对查询在DETR中的作用进行了更深入的理解。这个新公式直接使用框坐标作为 Transformer 解码器中的查询，并逐层动态更新它们。使用框坐标不仅有助于使用显式位置先验来改进查询到特征的相似性并消除 DETR 中缓慢的训练收敛问题，还允许我们使用框宽度和高度信息调制位置注意力图。这样的设计清楚地表明，DETR 中的查询可以实现为级联方式逐层执行软 ROI 池化。

这个报错的意思是说，希望在新的一轮迭代之前完成减少操作，（我理解就是一次forward处理一个batch的数据对模型参数进行梯度下降反向传播更新参数）然后造成这种问题的原因是因为模型中有的参数在产生损失的过程中完全没发挥作用（也就是没经过前向传播，无法通过pytorch的图网络结构计算更新的参数）寻找哪些需要计算梯度但是没有梯度的模块(众所周知，一般直接调用的封装好的模块的requires_grad都是True，自己设置的层的requires_gard需要指定为True），打印出来。不行，必须自己弄明白！

基于上述分析，我们重新思考编码器的结构，提出了一种有效的混合编码器，由基于注意力的尺度内特征交互（AIFI）和基于 CNN 的跨尺度特征融合（CCFF）两个模块组成。然而，由于缺乏语义概念以及重复和与高级特征交互混淆的风险，低级特征的尺度内交互是不必要的。CCFF是作者提出的一种类似于特征金字塔的特征融合模块，S3，S4，S5是backbone的后三层，作者在论文中证明了只对S5进行尺度内交互，而不对更低级别的特征进行尺度内交互，并对次做法的合理性进行了证明，再次不多赘述。省略一部分位置编码的代码。

事实上Vision Mamba重写了这个Mamba类，可以看到里边是由bimamba_type这个参数的（这其实也是Vision Mamba的主要贡献），执行如下代码。值得说明的一点是，如果你之前在跑其他的mamba，环境拿过来是不能直接直接用的，因为标准的Mamba类是没有bimamba_type这个参数的，所以，需要去Vim代码官网去找到mamba-1p1p1包，下载之后放自己项目里。按照官方readme.md配置，如果有问题照着下面这个链接改。我手敲的带中文注释的链接。

区别就是，2包括1，要用服务器环境跑，项目也要放到服务器上，用2的同时会自动建立一个1的mapping链接，创建虚拟环境链接之后用1的步骤打开mapping可以发现已经创建对应mapping。如果修改这个mapping的值之前的sync的值也会改动，其实mapping的值就是用sync初始化的，在链接完虚拟环境之后就不存在sync的值了。再一个就是，每次Upload都是用mapping指向的地址进行Upload的。一个是链接虚拟环境的时候会有一个sync，那么这两种同步有什么区别呢？

【代码】apex安装解决ModuleNotFoundError: No module named ‘packaging‘ error: subprocess-exited-with-error。

困扰了很久的一个问题，一开始是在服务器ubuntu20.04上安装pycharm community，直接运行服务器上的pycharm community就识别不了anaconda中的环境。后来改用pycharm professional也无法远程连接上服务器的环境，识别不了服务器上的环境，如下图点create无反应（这里无反应是因为服务器端无响应）现实Host is unresponsive，服务器无响应，这怎么回事，我挂都挂上了，可以正常连接，为啥这个环境识别不了？再打个yes，路径加入环境变量。

现在我把collate_fn写进dataset里，直接打印一下batch看看效果(这里需要把batch return了，因为dataloader如果选择了用collate_fn参数的话最终的输出是用collate_fn指定的函数的返回值给出的（这里设置函数名同参数名，这是默认的，可以自定义函数名））__getitem__(self, idx)得到对应的数据，将这些数据（样本对）传入collate_fn指定函数进行处理，因为没有自动的将样本对拆开重组，所以一般需要手工操作，正如文章开头的那段代码。

以download_c3d_features.sh为例这段代码是一个命令行脚本，用于从指定的URL下载C3D特征文件，并进行后续的文件处理。首先，使用`wget`命令下载了6个C3D特征文件：下载的命令格式为`wget `，其中``是特征文件的具体地址。接下来，使用`cat`命令将下载的6个部分文件合并为一个名为`c3d_features.zip`的压缩文件。

偏置的作用是引入模型的偏移能力，它可以在每个通道上添加一个常量值，从而提供了模型的灵活性和表达能力。二者的卷积核大小都是一样的（滑窗的实际大小是一样的），但空洞卷积的滑窗（kernel）元素之间是存在一些间隙的，这些间隙在空洞卷积中成为膨胀因子(dilated ratio)。代表填充内容，可选项有4种：'zeros', 'reflect','replicate' or 'circular'，其默认选项为'zeros'可以是一个整数，表示在输入的高度和宽度的周围添加的零填充的像素数，或者是一个元组。

以前常看到许多著名的模型中(Transformer,SwinTransformer...)都存在着归一化操作,当时只道是寻常，了解了大概功能和其存在的意义之后就没再深研究，最近自己上代码打算着手实战，相对这个歌操作进行一个概要的梳理，重点在与原理与应用，至于设计者的构思不做详细阐述。

如果我给出一个元组(7,8,9)，凭借我们的数学直觉，我们一眼就看出他是一个向量，代表着在三维空间中的一个有向线段，但是如果我给出的是一个数组a=[7,-8,9],这显然是一个长度等于3的数组，因为我们想声明这个数组时肯定是先int arr[3] = {7,-8,9};//C,这显然是一个一维度数组,那么它到底是几维的？如果你对这个问题产生了疑惑，本文可能会提供一些帮助。

FashionMNIST（时尚MNIST）是一个经典的计算机视觉数据集，用于图像分类任务。它是由 Zalando Research 创建的，旨在替代传统的MNIST数据集，以更贴近实际场景中的图像分类问题。FashionMNIST数据集包含了60,000个用于训练的图像样本和10,000个用于测试的图像样本，总共包括10个类别。每个样本都是灰度图像，分辨率为28x28像素。每个像素的值介于0到255之间，表示像素的灰度强度。数据集中的图像样本代表了不同种类的时尚商品，包括衣服、鞋子、手袋等。

【代码】Numpy实现最简单的梯度下降网络权重更新（Pytorch计算机视觉实战第一章源码注释，仅作个人学习记录用）