weixin_42364196的博客

线性回归之梯度下降法1.梯度的概念梯度是一个向量，对于一个多元函数fff而言，fff在点P(x,y)P(x,y)P(x,y)的梯度是fff在点PPP处增大最快的方向，即以f在P上的偏导数为分量的向量。以二元函数f(x,y)f(x,y)f(x,y)为例，向量{∂f∂x,∂f∂y}∣(x0,y0)=fx(x0,y0)i→+fy(x0,y0)j→\{\frac{\partial f}{\partia...

1.最小二乘法的原理最小二乘法的主要思想是通过确定未知参数θ\thetaθ（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为E=∑i=0nei2=∑i=1n(yi−yi^)E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y_i})E=∑i=0n​ei2​=∑i=1n​(yi​−yi​^​)，其中yiy_iyi​是真实值，yi...

机器学习之回归篇（一）一、综述​ 回归就是从一组数据出发，确定某些变量之间的定量关系式，也就是建立数学模型并估计未知参数。回归的目的是预测数值型的目标值，它的目标是接受连续数据，寻找最适合数据的方程，并能对特定的值进行预测。其中所寻求的方程叫做回归方程，求解回归方程，首先要确定模型，最简单的回归模型就是简单线性回归（例如y = kx + b），然后就是求回归方程的回归系数（即k和...