线性回归的从零开始实现

1. 根据带有噪声的线性模型构造一个人造数据集，生产1000个样本的数据集，噪声服从均值为0的正态分布
2. torch.normal()返回一个张量，张量里面的随机数是从相互独立的正态分布中随机生成的。
3. 画散点图要引入的包import matplotlib.pyplot as plt
4. backward()函数实现反向传播求导，可用于自动求导
5. 下面直接看一下完整代码吧，一些注释写在代码里了

%matplotlib inline
import matplotlib.pyplot as plt
import random
import torch
'''生成数据集'''
def synthetic_data(w,b,num_examples):
    '''生成y=Xw+b+噪声'''
    X = torch.normal(0,1,(num_examples,len(w)))#normal函数的第三个参数是形状
    y = torch.matmul(X,w) + b
    y += torch.normal(0, 0.01, y.shape)
    
    return X,y.reshape((-1,1))


true_w = torch.tensor([2,-3.4])
true_b = 4.2
features,labels=synthetic_data(true_w,true_b,1000)

print('features:',features[0],'\nlabel:',labels[0])
plt.scatter(features[:,(1)].detach().numpy(),labels.detach().numpy(),1);

'''读取小批量数据集'''
'''读取方法：假设有n个样本，先生成一个长度为n的列表（其元素的作用类似下标），然后把它打乱，然后去批量大小
的下标数（这时是按顺序取的），然后取这些下标对应的样本'''
def data_iter(batch_size,features,labels):
    '''batch_size为批量大小'''
    num_examples = len(features)
    indices = list(range(num_examples))#一个list
    #range返回一个可迭代对象，而不是列表类型，只有一个参数时默认从0开始计数到那个参数为止，但是不会包括那个参数
    #range若有三个参数，那么第一个表示开始，第二个表示结束，第三个表示步长
    #样本随机读取，没有顺序
    random.shuffle(indices)#shuffle函数是将列表所有元素随机排序
    for i in range(0,num_examples,batch_size):
        batch_indices = torch.tensor(indices[i:min(i + batch_size,num_examples)])
        yield features[batch_indices],labels[batch_indices]

batch_size=10

for X,y in data_iter(batch_size,features,labels):
    print(X,'\n',y)
    break

'''初始化模型参数'''
'''通过从均值为0，标准差为0,01的正态分布中采样随机数来初始化权重，并将偏置初始化为0'''
'''requires_grad用于说明当前量是否需要在计算中保留对应的梯度信息,若为True,则反向传播时tensor会自动求导'''
w = torch.normal(0,0.01,size = (2,1),requires_grad=True)
b = torch.zeros(1,requires_grad=True)

'''定义模型'''
def linreg(X,w,b):
    '''线性回归模型'''
    return torch.matmul(X,w) + b

'''定义损失函数'''
def squared_loss(y_hat,y):
    '''均方损失'''
    return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2;

def sgd(params,lr,batch_size):
    '''小批量随机梯度下降'''
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size
            param.grad.zero_()

lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss

'''训练'''
for epoch in range(num_epochs):
    for X, y in data_iter(batch_size,features,labels):#读取小批量数据
        l = loss(net(X, w, b), y)
        l.sum().backward()
        sgd([w,b],lr,batch_size)#使用参数的梯度更新参数
    with torch.no_grad():#with torch.no_grad()的作用，在该模块下，所有计算得出的tensor的requires_grad都自动设置为False，即使手动设置为True
        train_l = loss(net(features, w, b), labels)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')

print(f'w的估计误差：{true_w - w.reshape(true_w.shape)}')
print(f'b的估计误差：{true_b - b}')