Spectral Normalization谱归一化的理解

最新推荐文章于 2025-04-03 16:32:39 发布

芋圆526

最新推荐文章于 2025-04-03 16:32:39 发布

阅读量2.9k

点赞数 3

分类专栏：数学与神经网络文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/qq_26136211/article/details/115578990

版权

本文介绍了Lipschitz连续的概念，它是谱归一化的前置知识。Lipschitz连续保证了函数变化的平滑性。接着讲解了Spectral Normalization，该方法通过限制神经网络层的谱范数来实现Lipschitz连续性，有助于避免梯度爆炸。最后，文章提供了Spectral Normalization的Python实现参考链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前置知识之—— 利普希茨连续（Lipschitz continuous）

Lipschitz连续，要求函数图像的曲线上任意两点连线的斜率一致有界，就是任意的斜率都小于同一个常数，这个常数就是Lipschitz常数。

从局部看：我们可以取两个充分接近的点，如果这个时候斜率的极限存在的话，这个斜率的极限就是这个点的导数。也就是说函数可导，又是Lipschitz连续，那么导数有界。反过来，如果可导函数，导数有界，可以推出函数Lipschitz连续。
从整体看：Lipschitz连续要求函数在无限的区间上不能有超过线性的增长，所以这些和函数在无限区间上不是Lipschitz连续的。
记下式为L-Lipschitz.
在这里插入图片描述

L2归一化

图源见水印

Spectral Normalization

直观地来说，Lipschitz 条件限制了函数变化的剧烈程度，即函数的梯度。在一维空间中，很容易看出 y=sin(x) 是 1-Lipschitz 的，它的最大斜率是 1。

在这里插入图片描述

得到谱范数 σ_l(W)后，每个参数矩阵上的参数皆除以它，以达到归一化的目的。

Python实现

import torch
from torch.optim.optimizer import Optimizer, required

from torch.autograd import Variable
import torch.nn.functional as F
from torch import nn
from torch import Tensor
from torch.nn import Parameter

def l2normalize(v, eps=1e-12):
    return v / (v.norm() + eps)


class SpectralNorm(nn.Module):
    def __init__(self

最低0.47元/天解锁文章