s_m_c的博客

原文链接：https://arxiv.org/html/2401.14404v1。

定义： IS基于Google的预训练网络Inception Net-V3。Inception Net-V3是精心设计的卷积网络模型，输入为图片张量，输出为1000维向量。输出向量的每个维度的值对应图片属于某类的概率，因此整个向量可以看做一个概率分布。也就是说 IS（Inception Score）的计算是利用的Inception Net-V3网络输出的solfmax之后的那个logit，是个概率分布（也是后面的与FID的区别）。

有关小样本学习的各类文章通常会将其方法分成几个大类：基于度量学习的小样本方法、基于数据增强的小样本学习方法和基于模型初始化的小样本学习方法。我觉得这样分类并不好，因为三种方法之间并不是各自独立存在的，大多数情况下都是有交集的，比如一篇工作可能既使用了元学习的训练策略，同时又在度量方法上进行了创新。因此在梳理工作的时候，还是按照论文的顺序来梳理比较好，每篇工作都有他的特点，其思考的角度都不尽相同。

前段时间想进一步的了解transformer的工作原理，于是找到了几篇可解释性的文章进行阅读，发现了许多比较有趣的现象和结论，对每篇文章都有自己的深度思考和理解，在此记录，欢迎交流。

本文记录近期阅读过的小样本跨域相关论文，每一篇文章都经过了自己的深入思考和总结，按照：解决什么问题、动机、方法、数据集、结论和启发的顺序进行总结，同时会有部分细节的补充。

发现磁盘读写影响着模型训练的速度，磁盘读写要保持在一个正常值范围内（在80以下，不是红色的输出），如果磁盘读写利用率过高，会导致多个程序读写磁盘数据的时候产生拥堵，反而会降低模型训练的速度，所以要在磁盘读写速度的大小和batch之间做一个权衡，找到适合磁盘读写利用率的batch size大小。当使用 torch.utils.data.DataLoader 时，设置 num_workers > 0，而不是默认值 0，同时设置 pin_memory=True，而不是默认值 False。

当我开始接触“小样本”这个术语的时候，给我的第一感觉就是他的数据集很小（这也是我入坑小样本学习最开始的原因，以为炼丹不需要太久），相信很多人有个同样的感觉，但是事实上并不是这样的，在我将小样本学习这一方向介绍给自己的同门或者其他同学的过程中，我发现很多人也都对小样本有着同样的误解。实际上，小样本的“小”并不是体现在数据集上。相反，小样本的数据集是很大的，比如常用的mini-imagenet有6万张图片，更大的tiered-ImageNet有779165张图片，所以说数据集并不小。

发现磁盘读写影响着模型训练的速度，磁盘读写要保持在一个正常值范围内（在80以下，不是红色的输出），如果磁盘读写利用率过高，会导致多个程序读写磁盘数据的时候产生拥堵，反而会降低模型训练的速度，所以要在磁盘读写速度的大小和batch之间做一个权衡，找到适合磁盘读写利用率的batch size大小。还有一种方法，就是先下载低版本的torch，然后再装上mmcv，然后再将低版本的torch卸载，装上高版本的torch。-P [port]：指定SSH连接使用的端口号，将 [port] 替换为实际的端口号。

AAAI中稿心得

本人是计算机视觉小白，本科阶段跟着导师学习了一些计算机视觉相关的知识，前前后后断断续续的学习了将近一年，最大的收获就是培养了自己在计算机视觉方面的兴趣，我觉得这是一项很有意义的工作，将来也很有兴趣在这个专业领域进行更广更深的探索。但是由于考研临近，被迫暂时放下了手中没有读完的论文和没有跑完的实验，此篇文章是对自己所做工作的一个阶段性总结，以及在学习的过程中自己的思考，也是自己与计算机视觉的一个短暂的分手，但是，后会有期。 大二下学期一个偶然的机会，开始接触计算机视觉相关的知识，记得导师给我的第一篇文章.