Pytorch学习笔记（二）——从零手动搭建一个神经网络开始

一、按原理手动搭建神经网络

 

1.1 定义数据batch大小，输入输出特征，神经网络特征大小

import torch

batch_n = 100       # 一个批次输入数据的数量
hidden_layer = 100  # 经过隐藏层后保留的特征个数
input_data = 1000   # 每个输入数据的特征个数
output_data = 10    # 每个输出数据的特征个数（分类结果值）
# 1000 -> 100 -> 10

1.2 定义数据集，网络权重

# 定义一个批次大小的输入和输出数据（真实数据）
x = torch.randn(batch_n, input_data)    # 100*1000
y = torch.randn(batch_n, output_data)   # 100*10
# 定义权重参数（随机初始化参数）
w1 = torch.randn(input_data, hidden_layer)  # 1000*100
w2 = torch.randn(hidden_layer, output_data) # 100*10

1.3 定义学习次数和学习速率

epoch_n = 20            # 学习次数
learning_rate = 1e-6    # 学习速率

1.4 进行前向和后向传播计算

# 采用梯度下降优化参数
for epoch in range(epoch_n):
    # 前向传播计算
    h1 = x.mm(w1)           # 100*1000 -> 100*100
    h1 = h1.clamp(min=0)    # ReLU激活函数作用
    y_pred = h1.mm(w2)      # 100*100 -> 100*10 （预测结果）

    loss = (y_pred - y).pow(2).sum()                    # 均方误差损失函数（预测值与真实值之差）
    print("Epoch:{}, Loss:{:.4f}".format(epoch, loss))

    # 后向传播计算（梯度下降）
    grad_y_pred = 2*(y_pred - y)
    grea_w2 = h1.t().mm(grad_y_pred)

    grad_h = grad_y_pred.clone()
    grad_h = grad_h.mm(w2.t())
    grad_h.clamp_(min=0)
    grad_w1 = x.t().mm(grad_h)

    # 权重更新
    w1 -= learning_rate*grad_w1
    w2 -= learning_rate*grea_w2

&