实现简单的神经网络训练代码(包含生成训练集,定义模型、训练模型)详细注释

损失函数e最小即为要求的的随机梯度下降在假设只有一个参数时,可以理解为一个二次函数一条开口向上的曲线,最低点为(斜率最低处)为损失最低处,此时的w为训练出最准确的函数。

那么如何寻找最低点,就用一种梯度下降方法,不断的通过某种下降方法求w

import torch
from d2l import torch as d2l
from torch.utils import data
#创建一个数据集
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
print(features)
#读取数据集
def load_array(data_arrays, batch_size, is_train=True):  # @save
    """构造一个PyTorch数据迭代器"""
    #TensorDataset 类构建一个数据集对象TensorDataset
    # 是 PyTorch 提供的用于处理张量数据集的类。通过传递 *data_arrays,
    # 将特征和标签数据作为参数传递给 TensorDataset,从而创建了一个包含特征和标签样本的数据集对象。
    dataset = data.TensorDataset(*data_arrays)
    # DataLoader 类来创建一个数据加载器对象。该对象会将数据集划分为指定大小的批次,并在每个迭代步骤中返回一个批次的数据。
    # 在上面的例子中,我们指定批次大小为 32,并设置 shuffle=True 来在每个迭代步骤中对数据进行洗牌,以增加训练的随机性。
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

#DataLoader 类来创建一个数据加载器对象。该对象会将数据集划分为指定大小的批次,并在每个迭代步骤中返回一个批次的数据。
# 在上面的例子中,我们指定批次大小为 32,并设置 shuffle=True 来在每个迭代步骤中对数据进行洗牌,以增加训练的随机性。

batch_size = 10
data_iter = load_array((features, labels), batch_size)
next(iter(data_iter))

from torch import nn
#创建了一个简单的神经网络模型,使用 nn.Sequential 构建。
# nn.Linear(2, 1) 表示输入维度为 2,输出维度为 1 的线性层。这个线性层作为我们模型的唯一层。
net = nn.Sequential(nn.Linear(2, 1))
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)
#定义了损失函数。nn.MSELoss() 创建了一个均方误差损失函数的实例,用来计算预测值和真实值之间的平均平方差。
loss = nn.MSELoss()
trainer = torch.optim.SGD(net.parameters(), lr=0.03)

#训练
num_epochs = 5
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X) ,y)
        trainer.zero_grad()
        l.backward()#进行反向传播计算梯度。通过调用 backward() 函数,根据损失 l 自动计算模型参数的梯度。
        trainer.step()
    # 计算整个数据集上的损失。将所有样本的特征 features 和标签 labels 输入模型 net 进行预测,并计算预测值与真实值之间的损失。
    l = loss(net(features), labels)


    print(f'epoch {epoch + 1}, loss {l:f}')
#训练后的结果
w = net[0].weight.data
print(w)
print('w的估计误差:', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print(b)
print('b的估计误差:', true_b - b)

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值