沐神的 《动手学深度学习》 课程中的 3.2节 线性回归的从零实现

线性回归从0实现

代码的实现需要这么几个过程。

• 数据
• 读入随机打乱的数据，然后要分epoch。
• 定义我们的模型，损失函数，优化算法
• 定义好超参数
• 开始 for epoch …这个过程需要根据超参数，predict pre_label，然后计算出损失的反向传播，根据优化算法去更新参数。
• 最后记得打印每次的loss，acc,auc等参数。

我们读取 ⼀小批量训练样本，并通过我们的模型来获得⼀组预测。 计算完损失后，我们开始反向传播，存储每个参数 的梯度。最后， 我们调⽤优化算法sgd来更新模型参数

构造数据

#随机生成一批数据 。y = Xw + b + ϵ. ϵ代表噪音值。
true_b = 4.2
true_w = torch.tensor([2,-3.4])
num_examples = 1000
def synthetic_data(w,b,num_examples):
    X = torch.normal(0,1,(num_examples,len(w)))
    y = torch.matmul(X,w)+b
    y+= torch.normal(0,0.01,y.shape)
    return X,y
features, labels = synthetic_data(true_w,true_b,num_examples)
labels.shape
#torch.Size([1000])

看一下构造的数据。

# 保证图片在浏览器内正常显示
%matplotlib inline
import matplotlib.pyplot as plt
plt.figure(figsize=(10,10))
plt.scatter(features[:,0],labels,marker='o',c='b')
plt.scatter(features[:,1],labels,marker='^',c='r')
plt.show()

定义数据随机读取函数：

特别注意yield字段。:yield 的函数在 Python 中被称之为 generator（生成器）

def data_iter(batch_size, features, labels):

    num_examples = len(features) 
    indices = list(range(num_examples)) 
    # 这些样本是随机读取的，没有特定的顺序 
    random.shuffle(indices)
    for i in range(0, num_examples, batch_size):
        batch_indices = torch.tensor(indices[i: min(i + batch_size, num_examples)])
        #print(indices[i: min(i + batch_size, num_examples)])
        yield features[batch_indices], labels[batch_indices]

import random
batch_size = 10

for X, y in data_iter(batch_size, features, labels):
    print(X, '\n', y) 
    break

初始化超参数

batch_size = 10
lr = 0.03
num_epochs = 3
w = torch.normal(0, 0.01, size=(2,1), requires_grad=True) 
b = torch.zeros(1, requires_grad=True)

定义模型

def linreg(X,w,b):
    """线性回归模型"""
    
    return torch.matmul(X,w) + b

定义损失函数

def squared_loss(y_hat, y):#@save
    """均⽅损失。"""
    return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2

定义优化算法

def sgd(params,lr,batch_size):
    #不track 梯度
    with torch.no_grad():
        for param in params:
            param -= lr*param.grad / batch_size
            param.grad.zero_()

train

net = linreg
loss = squared_loss
for epoch in range(num_epochs):
    for X, y in data_iter(batch_size,features,labels):
        l = loss(net(X,w,b),y)
        l.sum().backward()
        sgd([w,b],lr,batch_size)# 使用参数的梯度更新参数
        
    with torch.no_grad():
        train_l = loss(net(features,w,b),labels)
        print(f'epoch {epoch + 1},loss {float(train_l.mean()):f}')

test

总结

pytorch backward
若在 torch 中 对定义的变量 requires_grad 的属性赋为 True ，那么此变量即可进行梯度以及导数的求解。
当c.backward() 语句执行后，会自动对 c 表达式中 的可求导变量进行方向导数的求解，并将对每个变量的导数表达存储到 变量名.grad 中

loss.sum().backward()中对于sum()的理解
一个向量是不进行backward操作的，而sum（）后，由于梯度为1，所以对结果不产生影响。反向传播算法一定要是一个标量才能进行计算。
torch.no_grad()
是一个上下文管理器，被该语句 wrap 起来的部分将不会track 梯度

参考

线性回归的从零开始实现
pytorch backward() 的一点简单的理解
loss.sum().backward()中对于sum()的理解
with torch.no_grad() 详解
Python yield 使用浅析