【学习笔记】08 线性回归（动手学深度学习）

此为学习笔记记录，学习内容为李沐的【动手学深度学习v2】，此内容可在B站找到资源

总框架

1. 获取数据集：范例中写了一个随机生成函数，获取了噪声数据集X和真实值y
2. 小批量读取数据：构造了一个小批量读取数据的函数，每次从数据集中拿出固定数量的数据进行后续的处理
3. 初始化模型数据：初始化权重w和偏置b
4. 定义模型：这里是定义了一个线型回归模型，即用于生成y_predict的
5. 定义损失函数：这里采用了均方损失函数
6. 定义优化算法：这里采用了梯度下降的优化算法
7. 训练过程：主要为两个for循环，第一个for循环为扫描数据集n次（可自定义次数），进行n次训练；第二个for循环为不断优化

1. 获取数据集

import random
import torch
from d2l import torch as d2l

# 定义随机数据集生成函数
def synthetic_data(w,b,num_examples):
#y=Xw+b+E,生成权重为w的噪音集,其中x是一些随机数
    X = torch.normal(0,1,(num_examples, len(w))) # 均值为0，方差为1，行数为num_example，列数为len(w)的矩阵
    y = torch.matmul(X,w)+b
    y += torch.normal(0,0.01, y.shape) # 为y加入噪音，均值为0，方差为0.01，矩阵形状与y的形状一致的噪音
    return X,y.reshape((-1,1)) # 只指定列数为1，根据矩阵大小自动计算行数输出reshape矩阵

体验上面的随机生成数据集的画图显示代码块

# 生成随机数据集
true_w = torch.tensor([2,-3.4])
true_b = 4.2
features, labels = synthetic_data(true_w,true_b,1000)
print(features)
print(features.shape)
print(labels.shape)

# 画图展示
d2l.set_figsize()
d2l.plt.scatter(features[:,1],labels)
d2l.plt.show() #不加上这一句显示不出来

2. 小批量读取数据

# 构造随机读取小批量的函数
def data_iter(batch_size,features,labels): #批量大小、特征、标记
    num_examples = len(features) #样本数量
    indices = list(range(num_examples)) #每个样本的索引号index
    random.shuffle(indices) #将原列表中的数随机打乱
    for i in range(0,num_examples,batch_size): #初始值，终止值，步长
        batch_indices = torch.tensor(indices[i:min(i+batch_size,num_examples)]) #indices里的数确实是被打乱了，但是这里只是用索引访问indices。这里每一个batch_indices都是随机数，shape一致
        yield features[batch_indices], labels[batch_indices]

# 随机读取小批量函数，可以从中选取指定大小batch_size个数字进行计算
batch_size = 10
for X,y in data_iter(batch_size,features,labels):
    print(X,'\n',y)
    break

3. 定义初始化模型数据

# 定义初始化模型参数
w = torch.normal(0,0.01,size=(2,1),requires_grad=True) #因为需要对偏差进行更新，所以需要计算梯度
b = torch.zeros(1,requires_grad=True)  #b是个标量

4. 定义模型

# 定义模型
def linreg(X,w,b):
    """线型回归模型"""
    return torch.matmul(X,w)+b

5. 定义损失函数

# 定义损失函数
def squared_loss(y_hat,y):
    return (y_hat-y.reshape(y_hat.shape))**2/2 #这里reshape的目的是防止y与y_hat大小不一

6. 定义优化算法

# 定义优化算法
def sgd(params,lr,batch_size): #给定所有的参数，param里包含w和b
    """小批量随机梯度下降"""
    with torch.no_grad():
        for param in params: #对于
            param -= lr * param.grad/batch_size #梯度下降的公式中，x<--x-eta*grad，/batch_size是求均值
            param.grad.zero_() #梯度重新设置为0，初始化

7. 训练过程

#训练过程
lr = 0.03
num_epochs = 3 #整个数据扫三遍
net = linreg
loss = squared_loss

for epoch in range(num_epochs): #对数据进行扫描
    for X,y in data_iter(batch_size,features,labels): #每次拿出一定大小的X和y
        l=loss(net(X,w,b),y) #将拿出的X和y放进linreg这个net里，得到y预测。并将y预测与y比较，即将y预测与y放进损失函数中计算。y为真实值
        l.sum().backward() #l的形状为（batch_size,1），然后对l求和后算梯度
        sgd([w,b],lr,batch_size)
    with torch.no_grad():
        train_l = loss(net(features,w,b),labels)
        print('epoch',epoch+1,'loss',float(train_l.mean()))

注意这里的l.sum.backward()这个命令

---

得到