深度学习——批标准化Batch Normalization

什么是批标准化？

批标准化（Batch Normalization）是深度学习中常用的一种技术，旨在加速神经网络的训练过程并提高模型的收敛速度。
批标准化通过在神经网络的每一层中对输入数据进行标准化来实现。具体而言，对于每个输入样本，在每一层的前向传播过程中，都会计算其均值和方差，并使用批量内的均值和方差对输入进行标准化。标准化后的数据会经过缩放和平移操作，使得网络可以学习到适合当前任务的特定数据分布。这样做的好处包括：
1.收敛速度更快：批标准化有助于避免梯度消失和梯度爆炸问题，使得神经网络在训练过程中更快地收敛。
2.允许更高的学习率：标准化输入可以使学习率的选择更加宽松，使得学习过程更加稳定。
3.正则化作用：批标准化在一定程度上具有正则化的效果，有助于防止过拟合。
4.不那么依赖初始化：由于标准化的存在，对网络的初始权重设置并不像传统网络那样敏感，这简化了网络的初始化过程。

对比使用批标准化和不使用批标准化

import torch
from torch import nn
from torch.nn import init
import torch.utils.data as Data
import matplotlib.pyplot as plt
import numpy as np

# 用于可复现
# torch.manual_seed(1)    # reproducible
# np.random.seed(1)

# Hyper parameters
# 样本点
N_SAMPLES = 2000
# 批大小
BATCH_SIZE = 64
# 轮次
EPOCH = 12
# 学习率
LR = 0.03
# 隐藏层层数
N_HIDDEN = 8
# 激活函数
ACTIVATION = torch.tanh
B_INIT = -0.2   # use a bad bias constant initializer

# training data
# 生成-7到10之间的N_SAMPLES个值的等差数列，并将其转化为一个二维列向量
x = np.linspace(-7, 10, N_SAMPLES)[:, np.newaxis]
# 生成一个均值为0，标准差为2的和x相同形状的噪声数据
noise = np.random.normal(0, 2, x.shape)
# 生成x对应的y值
y = np.square(x) - 5 + noise

# test data
test_x = np.linspace(-7, 10, 200)[:, np.newaxis]
noise = np.random.normal(0, 2, test_x.shape)
test_y = np.square(test_x) - 5 + noise

train_x = torch.from_numpy(x).float()
train_y = torch.from_numpy(y).float()
test_x = torch.from_numpy(test_x).float()
test_y = torch.from_numpy(test_y).float()

train_dataset = Data.TensorDataset(train_x, train_y)
train_loader = Data.DataLoader(dataset=train_dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=2,)

# show data
# plt.scatter(train_x.numpy(), train_y.numpy(), c='#FF9359', s=50, alpha=0.2, label='train')
# plt.scatter(test_x.numpy(), test_y.numpy(), c='blue', s=50, alpha=0.2, label='test')
# plt.legend(loc='best')



class Net(nn.Module):
    def __init__(self, batch_normalization=False):
        super(Net, self).__init__()