线性回归原理、手写反向传播和pytorch实现

线性回归原理和实践

线性回归的数学推导

假设：我们知道机器学习的思想就是通过优化一个目标函数使其值达到最小，也就是找到函数的最小值点。线性回归的损失函数如下：
$$J(w)=\sum _{i=0}^n\frac{1}{2}(y_i-(w{x}_i+b){)}^2$$
这里的$w$和$b$是待学习得到的参数。下面从数学的角度推导一下为什么线性回归的目标函数会采用这样的公式？？
假设我们拿到一个数据集：

y	特征1	特征2	特征3
通过线性回归的方式拟合一系列的数据，数学公式如下：
$$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$
其中$w_1,w_2,w_3$分别表示不同特征对y值得影响程度，也就是待学习得参数，b在数学上表示偏置，也可以当成一个特征，只不过这列特征的数值全部是1.
如果我们的项目特征数量特别多，写成上面那样过于难看，所以数学上我们习惯写成矩阵相乘的形式，如下：
$$y=WX+b$$
其中W,X都是矩阵。
再假设我们用$\theta$来表示真实值与预测值之间的误差，
$$y_i=w_i$$