频率的相关工作

F-Principal的含义

含义：神经网络在训练的时候，收敛顺序从低频到高频。也就是随着时间的推移，低频部分先收敛完毕，然后高频部分开始收敛。值得注意的是，这里 高低频指的应该是目标拟合函数的频率，而不是图像的频率。 举个例子，猫类的照片作为输入，输出猫的子类，如布偶、狸花猫等，此时输入的图像为X，输出的类别为Y，则一个神经网络作为一个函数F，有Y=F(X)。训练过程先收敛低频，指的不是猫的眼睛、嘴巴等高频图像部分，而是F这个函数 对输入变化不敏感的部分。比如，输入两个差别很大的猫，高矮胖瘦花纹等差别很大，但都属于狸花猫，此时X差别大，Y相同，函数的梯度小，频率低。、

其实也可以从特征的角度考虑，下面是知乎评论区的回答

其实网络就是去找问题的结构特征，所谓低频高频，应该就是大尺度整体特征和小尺度局部 特征，网络倾向于先拟合整体特征，然后去细化局部特征

从这个角度考虑，低频部分也就是，看起来差别很大的猫（X），结果子类（Y）都一样，不同的X有相同的整体特征，比如腿短，此时学到的也就是这个整体特征。

A Fourier Perspective on Model Robustness in Computer Vision论文

横坐标对应的是保留的高频与低频系数的多少，横坐标越大，保留的越多。可以看出，低频信息达到一定程度之后对准确率的影响就不大了，而高频则是逐渐增长，由此可以看出，低频信息确实可以存在冗余。