鑫照不萱-优快云博客

原创 Characterizing Out-of-Distribution Error via Optimal Transport

是预测的置信度向量的分布，之所以写的这么绕应该是因为作者想要从一个全局的角度，将x的空间转换到c的空间，而c的空间是一个单位球体里面的一点，这里的单位球是作者的一种几何抽象，如下图，因为所有的概率分布的和为1，所以抽象为一个单位球体了吧，但是这个对于理解有很大帮助，后面会提到。为最优传输COT开销设置一个阈值t，这样的设计的好处是，我觉得这个点写的挺好的，就是因为实际上COT估计误差也是通过两步，第一步是计算所有样本的单独的传输开销，第二步是返回这些所有的单独的传输的误差估计的平均值。没有定义误差的上界；

2025-03-31 17:45:57 4

原创 Predicting with Confidence on Unseen Distributions

之后做预测准确率的时候，这里我们首先定义相关的符号，R()代表回归的模型，我们可以得到真实的预测的准确率误差，然后就是我们首先要校准得到回归器，作者通过训练回归器的预测误差的均方误差最小化得到最终的回归器。论文指出AutoEval对于自然图像的偏移的表现不好，而DoC能够同时编码base分布和之前未见过目标分布之间的不管是生成的还是自然的分布差异信息。这就是我在前面说的，其实和AutoEval的不同就在于使用的指标不同，这里使用的度量分布差异的指标是DoC。论文实际上这个DoE的表现没有DoC的好。

2025-03-29 18:02:03 10

原创 What Does Rotation Prediction Tell Us about Classifier Accuracy under Varying Testing Environments?

论文里面的解释是因为是同时训练的，他们使用的是相同的backbone以及一样的特征，所以如果因为环境变化/OOD造成的backbone提取的特征的不适合于分类的预测，那么对于旋转角度的预测表现也会同时受到削弱，这可能是他们之间的表现呈现正向的相关性趋势的原因吧。数据构建，旋转的角度选择有{0， 90，180，270}，可以理解为一个四分类的任务。最终网络的损失由两个部分组成，一个就是分类的损失另一个就是预测旋转角度的损失，相当于这里要做多个任务，一个是要去预测分类，另外一个就是要去预测图片的旋转角度。

2025-03-28 17:49:36 9

原创 Are Labels Always Necessary for Classifier Accuracy Evaluation?

②数据集之间的相似度度量，MMD和FD score可以作为度量的指标，但是实际上分布之间的相似度度量本身也是一个有挑战的任务，所以也可以不选择使用FD score，也有一定的其他探索空间。度量数据分布的差异首先考虑数据分布的特征，这篇论文的数据分布特征的表征是通过图像特征的一阶和二阶导数表达的，数据分布的差异度量一般是Fre ́chet Distance (FD) [12] or maximum mean discrepancy (MMD)。是预测的结果，L是损失函数，A就是得到的回归模型。

2025-03-26 21:27:08 9

原创 Accuracy on the Curve: On the Nonlinear Correlation of ML Performance Between Data Subpopulations

基于之前的工作，OOD和ID的performance呈线性的关系，然而这篇论文发现了对于分布的不同的子群来说他们之间呈现的往往是“月牙形”的非线性关系，而且和受用的模型，训练的epoch，超参数，预训练还是scratch等都没有关系，呈现的仍然是月牙的非线性关系；，我们知道TPR作为横轴TNR作为纵轴形成的曲线就是ROC曲线，而一般他都是非线性的，所以很粗糙的证明了一下这个准确率的差值是非线性的依据。这个处理的目的是比如说本论文中得到的一致性度量，它的范围太过于集中，不容易看到线性关系，

2025-03-23 23:45:31 17

原创 Memorization Through the Lens of Curvature of Loss Function Around Samples

（这里有一个细节就是之前也有和他们类似的研究，只是方法不一样，之前的方法虽然也用了曲率，是单一对抗方向的，但是本论文的方法是在所有的训练过程中，而且利用了随机的Rademacher向量更稳定，后面也专门枪带哦了这个方法必须是在所有的训练epoch来平均，这样才更稳定，不然也会效果很差，这里的效果差以及之前方法失败的metric都是和FZ score的cosine similarity）这篇论文发现损失函数的曲线的曲率可以作为模型对于数据记忆的一个度量，而且可以用于检测训练集中存在的错误/矛盾标注的数据。

2025-03-23 18:27:21 8

原创 MATHVISTA: EVALUATING MATHEMATICAL REASONING OF FOUNDATION MODELS IN VISUAL CONTEXTS

指出现有的哪怕是前沿的LLM/LMM存在的一个问题就是，对于图像的数理分析很差，而且就这个方向来说目前还没有被系统的度量过，而度量的基础就是需要benchmark，为了加快在视觉上的数理推断的发展以及去评价现有的LLM/LMM对于严谨的推理工作的能力和进展，作者的初衷其实就是发现了问题，作为研究的基础工作开始，提出一个benchmark来为后续的工作奠定基础。2.2.3.最终的表现的最好的是GPT-4V模型，这里我只是为了记录一个结论。

2025-03-23 16:43:55 186

原创 NTK：neural tangent kernel 神经切线核

在读“Predicting Out-of-Distribution Error with the Projection Norm”这篇论文的时候发现的这个，还是挺难的，大概学了一下，主要是看了一个国外的老师讲解的，才看懂。

2025-03-19 20:59:12 809

原创 Predicting Out-of-Distribution Error with the Projection Norm

这部分见到那指出这个方法的一个局限性，就是这个方法正如前面介绍的，需要对整个数据进行处理，结果就是甚至考虑了那些很容易区分的ID和OOD的差异，一般projNorm的方法会在这种很容易区分的OOD的预测上表现的不好。黄矩形部分是因为P就是一个投影矩阵，这里最后进行的变换是因为前面的假设有，OOD 和训练集的特征向量要么一样要么正交，而这里的后半部分已经过滤了一样的部分，剩下的本来就是正交于训练数据行空间的，而这个根据前面说的投影矩阵的属性3，本来就在OOD的行空间，所以乘上也不变。

2025-03-19 20:43:02 449

原创 LCA-on-the-Line: Benchmarking Out-of-Distribution Generalization with Class Taxonomies

本质上，在深度学习中模型要学习的应该是稳定的，本真的知识，但是实际上会存在虚假特征，即使对一个图像经过很强的数据分布的偏移，但是人仍然可以很准确地识别出来这个东西，这是因为人学习的是稳定的本质的特征，二层级结构其实和这个类似，不同的层级之间相邻的层应该具有可迁移的共性特征，而离得较远的层级之间的共性特征应该是混杂的特征，只有学习的是可迁移可转换的特征才会犯更优秀的错，比如将哈士奇预测成阿拉斯加而不是加菲猫，这种犯错的严重性可以用LCA来度量，也就是真正类和预测类的最小公共节点的路径。

2025-03-08 16:56:23 863

原创 CLIPood: Generalizing CLIP to Out-of-Distributions

首先为什么作者要用这个，正如motivation提到的，原始的预训练的模型有很好的generalization，但是对于下游任务一般要微调，微调的模型更加针对目标数据效果更好，但是代价是generalization的degradation，怎么权重组合能够最佳权衡呢，论文将训练的整个时刻作为T，里面的每一个时间点对应了一个模型，作者希望融合所有时刻的训练训练模型，那融合考虑的权重呢？Beta分布的参数β设置为小于1，根据3.1的β分布的知识知道在0和1的位置值比较大，这就是作者的目的！

2025-02-24 20:53:32 769

原创 Learning to learn by gradient descent by gradient descent

1. 网络本身的参数就很多，论文也考虑到了这一点，论文的做法是coordinate-wise也就是每一个参数单独执行图2的处理进行优化，但是所有的参数共享一个网络，利用的是相同的LSTM网络权重/参数，但是每个参数都是独立的中间状态。3.实际上这篇论文是2018的NIPS的，但是大部分用的还是传统的方法，一方面是传统的方法本身已经比较好了，而且本身更加稳定，但是这个论文提出的方法还是感觉不稳定，而且很大的一个问题是带来的计算量很大，我觉得是回报相对于成本来说不是很值得吧。参数：如下图1，介绍下参数，

2025-02-23 21:02:45 343

原创 pytorch学习2--grad自动微分

借助torch.tensor的requires_grad来追踪tensor的所有操作print(x)#y作为操作的结果被创建，它具有grad_fn的属性y=x+2print(y)z=y*y*3#.requires_grad_(...)会改变requires_grad标记#输入的标记默认是false输出：可以看到有记录相关操作的输出，这里的追踪就是因为我们设置了requires_grad为真。#现在后向传播/反馈，因为输出了一个标量。

2024-03-24 22:28:45 1126 3

原创 Pytorch安装以及学习使用1

首先如果是基于我的上面的安装教程来的话，我们的pytorch是安装在虚拟环境，比如yolov8里面的，所以我们再jupyter notebook里面使用的时候，默认的虚拟环境是base，但是因为我把库都下载到了yolov8的虚拟环境，所以就要设置jupyter notebook的kernel。注意：这里进入会让你选择kernel，如果和我一样的用的别的虚拟环境，经过上面的操作这里就会出现你自己的虚拟环境，选择即可。第一个yolov8就是你要用的虚拟环境，第二个是显示的名字。接着就会进入下面的页面。

2024-03-21 22:00:09 940 1

原创 Conda指令不能使用下彻底清理anaconda

注意这里完成的只是最前面的步骤的第一步，只是我们没法使用conda指令下载，才曲线救国这么做的，接下来就还得执行anaconda-clean --yes（你看现在就可以用了，因为我们下载了anaconda-clean），再接着点击自带的卸载程序就可以了，不知道的往上翻最前面写的有。最近在学习pytorch，安装之前考虑到之前多次项目中使用anaconda中的函数出现问题，于是决定为了以后的自己着想，决定重装anaconda。这种的，所以这个建议只适合于和我类似的，当然走投无路的即使出错不一致也可以试试。

2024-03-20 21:20:38 1276 1

m0_62673638的博客