datawhale训练营pytorch作业二

本期作业包括：

1.numpy和pytorch实现梯度下降法

2.设定初始值

3.求取梯度

4.在梯度方向上进行参数的更新

5.numpy和pytorch实现线性回归

6.pytorch实现一个简单的神经网络

7.参考资料：PyTorch 中文文档 https://pytorch.apachecn.org/docs/1.0/

作业如下：

1.numpy和pytorch实现梯度下降法

2.设定初始值

3.求取梯度

4.在梯度方向上进行参数的更新

import torch
from torch.autograd import Variable

x = 1
learning_rate = 0.1
epochs = 100
y = lambda x : x ** 2 + 2 * x + 1

for epoch in range(epochs):
    dx = 2 * x + 2
    x = x - learning_rate * dx
print(x)
print(y(x))

x=torch.Tensor([1])
#建立一个张量  tensor([1.], requires_grad=True)
x=Variable(x,requires_grad=True)
print('grad',x.grad,'data',x.data)
learning_rate=0.1
epochs=10

for epoch in range(epochs):
    y = x**2 + 2*x +1
    y.backward()
    print('grad',x.grad.data)
    x.data=x.data-learning_rate*x.grad.data
    #在PyTorch中梯度会积累假如不及时清零
    x.grad.data.zero_()

print(x.data)
print(y)

5.numpy和pytorch实现线性回归

numpy方法：

import numpy as np
x_data=np.array([1,2,3])
y_data=np.array([2,4,6])

epochs=10
lr=0.1
w=0
cost=[]

for epoch in range(epochs):
    yhat=x_data*w
    loss=np.average((y_data-yhat)**2)
    cost.append(loss)
    dw=-2*(y_data-yhat)@x_data.T/(x_data.shape[0])
    w=w-lr*dw
    print(w)

print(w)
 

pytorch实现线性回归：

torch.manual_seed(2)
x_data=Variable(torch.Tensor([[1.0],[2.0],[3.0]]))
y_data=Variable(torch.Tensor([[2.0],[4.0],[6.0]]))

epochs=10
lr=0.1
w=Variable(torch.FloatTensor([0]),requires_grad=True)
cost=[]

for epoch in range(epochs):
    yhat=x_data*w
    loss=torch.mean((yhat-y_data)**2)
    cost.append(loss.data.numpy())
    loss.backward()
    w.data=w.data-lr*w.grad.data
    print(w.data)
    w.grad.data.zero_()
    
print("结果为：\n", w.data)

7.实现一个神经网络

详见作业1的链接