bxdzyhx的博客

实际上stylegan是借鉴了PROGRESSIVE GAN 这篇文章。Equallinear和EqualConv的作用和原理：基于linear和conv，通过缩放网络权重，使得每一层的参数的学习率能够保持一致，从而能增强GAN的稳定性，改善图像质量。原文：We deviate from the current trend of careful weight initialization, and instead use a trivial N (0, 1) initialization and

1.几个问题1.1 基本信息2019 NIPS1.2 做了什么1.3 实现方法 & 创新性提出一个比较通用的E（2）群等变神经网络，囊括了前人提出的模型，平面上的旋转、平移等等变群。将核空间约束分解为不可约子空间，并给出了群E（2）及其子群对该约束的求解方法。给出了群表示如何改变特征图的概述，论述了群表示与非线性的兼容性。2.数学部分 & 模型构建2.1 欧式平面R^2的等距（Isometries）群欧几里德群E（2）是平面R2的等距群，由平移、旋转和反射组成。E（2）.

1.几个问题1.1 基本信息CVPR 20201.2 做了什么提出了AdvProp1.3 实现方法 & 创新性对抗性例子用auxiliary BN处理，干净例子用main BN进行处理。解决二者混合导致的数据分布失真。1.4 代码链接Github2.数学部分 & 模型构建2.1 现有问题 & 解决方法现有问题以往的研究表明，对抗性样本训练可以提高模型的泛化能力，但仅限于某些情况，这种改进要么在完全监督的情况下对小数据集（如MNIST）进行，要么在较大的数据.

0 摘要我们解决的问题是找到对前景对象的逼真的几何校正，以使其在合成为背景图像时看起来自然。为此，我们提出了一种使用STNs的新的GAN（ Generative Adversarial Network）结构，我们称之为ST-GAN。ST-GAN通过在geometric warp parameter space空间中进行操作来寻求图像逼真度。ST-GAN的主要优势之一是其间接适用于高分辨率图像，因为预测的warp parameter可在参考帧（reference frame）之间传递。我们在两种应用中演示.

1.几个问题1.1 基本信息arVix 20201.2 做了什么提出了平滑对抗性训练(standard adversarial traning, SAT)1.3 实现方法我们用SAT的平滑近似（一阶导数平滑）代替ReLU，由于平滑激活函数的允许鉴别器在对抗性训练中找到更难的对抗性示例，因此能计算出更好的梯度更新。1.4 创新性在没有额外计算开支和精度下降的情况下增强了对抗网络的鲁棒性。方法简单，效果还可以。只是论文中没有仔细阐释why it works.2.数学部分 & 模型构建.

1.几个问题1.1 基本信息arXiv 20191.2 做了什么实现缩放等变卷积1.3 实现方法和Harmonic-Net类似，采取了复数滤波器。不过采取的是log形式，且有多个原子滤波器，神经网络学习的是原子滤波器的组合系数。1.4 代码链接Github1.5 结果2.数学部分 & 模型构建2.1 原子复数卷积核原子滤波器是Skj{S^{kj}}Skjd(ϕ,ϕj)d\left( {\phi ,{\phi _j}} \right)d(ϕ,ϕj​)是两个角度之间的.

1.几个问题1.1 基本信息CVPR 20181.2 做了什么实现CNN对平移和任意离散旋转的等变性。1.3 实现方法和谐波网络Harmonic-Net这篇一样，也是使用复数滤波器。不过这篇使用的是多个复数滤波器，通过一个权重把它们加起来，得到最后的滤波器，其中单个原子滤波器是已知的、权重是需要学习的。理论上能实现N-循环离散旋转等变，N可以任意增大。比如当N=4的时候，一次旋转是90°。Harmonic-Net中只使用了单个复数滤波器，且滤波器的实数部分是需要学习的，理论上可以实现连续旋转等

1.几个问题1.1 基本信息CVPR 20171.2 做了什么CNN的旋转和平移等变1.3 实现方法引入一个复数滤波器1.4 创新性 & 局限性后面有一些文章认为这篇文章中的模型拟合能力有限，因为只有一个滤波器。2.数学部分 & 模型构建定义滤波器Wm{W_m}Wm​Wm(r,ϕ;R,β)=R(r)ei(mϕ+β){W_m}\left( {r,\phi ;R,\beta } \right) = R\left( r \right){e^{i\left( {m\phi .

0 摘要卷积神经网络(CNN)本质上等同于translation。 嵌入其他形式的equivariance的工作仅集中在 rotation上。我们通过Polar Transformer Network(PTN)扩展了CNN中equivariance的概念。 PTN结合了STN和正则坐标表示（canonical coordinate representations）的思想。结果是网络对于平移保持invariant，对旋转和比例保持equivariant。在旋转MNIST和新引入的SIM2MNIST数据集上，

之前做过PTN的论文翻译，但有些没把握住精髓，这次对PTN进行了提炼，会清楚许多。1.几个问题1.1 基本信息ICLR 20181.2 做了什么提出PTN（Polar-Transformation Network）实现对平移的不变、对旋转和伸缩的等变1.3 实现方法转换到极坐标系，此时平面卷积对应于旋转和尺度上的群卷积。1.4 创新性 & 局限性不需要像STN一样学习参数回归（其实是回归的参数要少一些，还是用了回归）。只能识别全局形变。PTN能够实现平移不变性（借助STN.

1.几个问题1.1 基本信息PMLR 20171.2 做了什么1.3 实现方法通过作出适当的假设，我们设计了特殊的卷积算子，它们等价于一类大的双参数变换，同时保持模型参数与标准卷积接近。1.4 创新性 & 局限性之前的很多变换等变网络相比于传统CNN模型参数较多，训练复杂。而本文的模型参数量和传统CNN接近。可以处理连续的变换。2.数学部分 & 模型构建2.1 离散和连续卷积图像I∈RN×NI \in {R^{N \times N}}I∈RN×N卷积核F∈RM

01

1.几个问题1.1 做了什么提出一种能保证全局旋转等变性的卷积神经网络。能对四个旋转方向提取特征。1.2 效果略1.3 局限性只能实现四个方向的旋转，因为矩阵是方形的，最多作用在p4群上。2.数学部分2.1 旋转操作图像函数为f:Z2→Rf:{Z^2} \to Rf:Z2→R。定义旋转变换RRR（这里的R不是实数域的意思）,R(f(x)),x∈Z2R\left( {f\left( x \right)} \right),x \in {Z^2}R(f(x)),x∈Z2相当于将图像顺时针喜欢.

1. 几个问题做了什么提出了旋转等变向量场网络Rotation Equivariant Vector Field Networks (RotEqNet)，是一种对旋转等变性（equivariance）、旋转不变性（invariance）和旋转共变性（covariance）进行了编码的CNN网络。论文中专注于解决“旋转”这一操作，因此下文所述的对象都与旋转有关。实现原理每个卷积核被应用在多个方向上，并返回一个矢量场，表示每个空间位置的最高评分方向的大小和角度。实验效果相比于一些大型模型，RotE

仿照了这个博主的方法，读每一篇文献的时候都要问自己它做了什么？用什么方法做的？效果如何？有什么缺点？这些几个问题，以加深自己的理解。1. 几个问题做了什么提出了群等变卷积神经网络（Group equivariant Convolutional Neural Networks，G-CNNs)，通过采取对称性减低了采样复杂度。G-CNN将CNN对平移群的等变性（下文会解释）推广到更大的对称群，包括旋转和反射。特点/优点比常规卷积层有更高的权重共享程度。卷积层易于使用，对于由平移、反射和旋