深度学习笔记016：BatchNorm批量归一化+nn.LayerNorm暂记_nan or inf found in input tensor.-优快云博客

本文链接：https://blog.youkuaiyun.com/ResumeProject/article/details/118570872

本文详细介绍了如何在PyTorch中使用LayerNorm层，包括NLP和图像处理示例，并讨论了其在深度学习中的作用。特别提到了初始化问题及为何加入小数防止除零，还涵盖了全连接层与卷积层的区别。最后，给出了解决学习率调整建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实现

import torch
import torch.nn as nn

# NLP Example
batch, sentence_length, embedding_dim = 20, 5, 10
embedding = torch.randn(batch, sentence_length, embedding_dim)
layer_norm = nn.LayerNorm(embedding_dim)
# Activate module
layer_norm(embedding)
# Image Example
N, C, H, W = 20, 5, 10, 10
input = torch.randn(N, C, H, W)
# Normalize over the last three dimensions (i.e. the channel and spatial dimensions)
# as shown in the image below
layer_norm = nn.LayerNorm([C, H, W])
output = layer_norm(input)

在这里插入图片描述

self.feature_norm = nn.LayerNorm(self.ddim, elementwise_affine=False)

  File "***.py", line 9, in __init__
    self.feature_norm = nn.LayerNorm(self.ddim, elementwise_affine=False)
  File "***\anaconda3\envs\lshtorch\lib\site-packages\torch\nn\modules\normalization.py", line 171, in __init__
    self.normalized_shape = tuple(normalized_shape)  # type: ignore[arg-type]
TypeError: 'method' object is not iterable

Batch Norm

WARNING:root:NaN or Inf found in input tensor.

在这里插入图片描述

$后边方差加上一个很小的数，防止变成0,在下方的归一化的式子中μ_B和σ_B是根据当前数据求出的，\\ γ和β是可以学习的参数$

在这里插入图片描述

在这里插入图片描述
$应该可以理解为对于某个随机变量的作用，所以全连接层是对某个数的不同取值作用,\\而卷积层是对某个像素的通道作用$

在这里插入图片描述

$内部协变量\\后边的研究可能也是不对的$
😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂😂

在这里插入图片描述
$可以调大一些学习率$