动手学深度学习(PyTorch)笔记二、深度学习基础——线性回归

动手学深度学习(PyTorch)代码笔记

记录pytorch用于深度学习的学习过程。

二、深度学习基础

1、线性回归

线性回归和softmax回归都是单层神经网络，用于解决回归问题。

(1)基本要素

1、模型定义

$$\hat{y}=x_1{w}_1+x_2{w}_2+b$$

2、模型训练

（1）训练数据

（2）损失函数

$$L=\frac{1}{n}\sum \frac{1}{2}({\hat{y}}^{(i)}-y^{(i)}{)}^2$$

（3）优化算法

解析解analytical solution：误差最小化问题的解可以直接用公式表达出来。

数值解numerical solution：只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。

​ 小批量梯度下降法mini-batch

3、模型预测

经过训练后，得到w1 w2 b。
y^=x1w1+x2w2+b \hat y = x_1w_1 + x_2w_2 + b