11 从零实现线性回归

爱飞的企鹅

于 2022-05-21 23:59:57 发布

阅读量606

点赞数 2

CC 4.0 BY-SA版权

分类专栏： # pytorch 基础文章标签：线性回归 pytorch 深度学习

本文链接：https://blog.youkuaiyun.com/qq_41582779/article/details/124905380

本文通过一个线性回归的例子展示了如何在PyTorch中实现数据生成、模型初始化、训练过程以及优化算法。首先，生成带有噪声的线性数据，然后用随机初始化的权重和偏置进行训练。通过小批量梯度下降法更新模型参数，并观察不同初始值和学习率对训练结果的影响。实验表明，即使权重初始化为零，算法也能收敛，但学习率的选择会影响损失函数下降的速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

%matplotlib inline
import random
import torch
from d2l import torch as d2l

1.生成数据集

def synthetic_data(w,b,num_examples):
    #生成y=Xw+b+噪声
    x = torch.normal(0,1,(num_examples,len(w)))#mean:0 标准差:1 shape:(1000,2)
    y = torch.matmul(x, w) + b #二维矩阵相乘 维数更高把最后2维做矩阵相乘 其他维度对应位置相乘
    y += torch.normal(0,0.01,y.shape) #添加噪声 标准差为0.01
    return x,y.reshape((-1,1))
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = synthetic_data(true_w, true_b, 1000)
features.shape, labels.shape

(torch.Size([1000, 2]), torch.Size([1000, 1]))

#画图

d2l.set_figsize()
d2l.plt.scatter(features[:,(1)].detach().numpy(),labels.detach().numpy(),1)

<matplotlib.collections.PathCollection at 0x1d9864c36a0>

在这里插入图片描述

2.读取数据集

def data_iter(batch_size,features,labels):
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)#随机索引列表
    for  i in range