qq_26136211的博客

Torch.nn.Conv2d(in_channels，out_channels，kernel_size，stride=1，padding=0，dilation=1，groups=1，bias=True)in_channels：输入维度out_channels：输出维度kernel_size：卷积核大小stride：步长大小padding：补0dilation：kernel间距...

前置知识之—— 利普希茨连续（Lipschitz continuous）Lipschitz连续，要求函数图像的曲线上任意两点连线的斜率一致有界，就是任意的斜率都小于同一个常数，这个常数就是Lipschitz常数。从局部看：我们可以取两个充分接近的点，如果这个时候斜率的极限存在的话，这个斜率的极限就是这个点的导数。也就是说函数可导，又是Lipschitz连续，那么导数有界。反过来，如果可导函数，导数有界，可以推出函数Lipschitz连续。从整体看：Lipschitz连续要求函数在无限的区间上不能有超过

论文地址：Involution: Inverting the Inherence of Convolution for Visual Recognition官方代码：https://link.zhihu.com/?target=https%3A//github.com/d-li14/involution这篇论文提出的主要贡献：1） 提出了一种新的神经网络算子——involution。它比convolution更轻量更高效，形式上比self-attention更加简洁，可以用在各种视觉任务的模型上取得精

KL散度（转载自微信公众号机器之心）首先让我们确立一些基本规则。我们将会定义一些我们需要了解的概念。分布（distribution）分布可能指代不同的东西，比如数据分布或概率分布。我们这里所涉及的是概率分布。假设你在一张纸上画了两根轴（即 X 和 Y），我可以将一个分布想成是落在这两根轴之间的一条线。其中 X 表示你有兴趣获取概率的不同值。Y 表示观察 X 轴上的值时所得到的概率。即 y=p(x)。下图即是某个分布的可视化。这是一个连续概率分布。比如，我们可以将 X 轴看作是人的身高，Y 轴是找到