pytorch 学习笔记之一： 简单的2层神经网络

import numpy as np
import torch
import torchvision

# a example of 2-layer neural network
# start from basic logic
N, D_IN, H, D_OUT=64,1000,100,10
x=torch.randn(N,D_IN).cuda()
y=torch.randn(N,D_OUT).cuda()
w1=torch.randn(D_IN,H,requires_grad=True).cuda()
w2=torch.randn(H,D_OUT,requires_grad=True).cuda()

learning_rate=1e-6

for it in range(500):
    y_pred=x.mm(w1).clamp(min=0).mm(w2)

    loss=(y_pred-y).pow(2).sum()
    print(it,loss.item())

    grad_w2=x.mm(w1).T.clamp(min=0).mm(2*(y_pred-y))
    grad_w1=x.T.mm(2*(y_pred-y)).mm(w2.T)
    
    w1 -=learning_rate * grad_w1
    w2 -=learning_rate * grad_w2

仅用于理解梯度下降和神经网络训练的逻辑和原理。

另外最近加了显卡顺便也试一下cuda是否可用。亲测无问题，运行结果如下：（没有CUDA把.cuda()去掉就可以）

.........................................
482 7.107484270818532e-05
483 7.013617869233713e-05
484 6.890020449645817e-05
485 6.783757999073714e-05
486 6.647719419561327e-05
487 6.5369822550565e-05
488 6.4319