最小二乘法
1. 拟合函数： Y=Ax+bY = Ax + bY=Ax+b
2. 目标函数 minS=min∑i=1n(yi−(Axi+b))2\min{S} = \min{\sum_{i = 1}^{n}(y_i - (Ax_i + b))^2}minS=min∑i=1n(yi−(Axi+b))2
3. 简单线性回归 X，y均为向量形式
- A的计算
A = n∑i=1nxiyi−∑i=1nxi∑i=1nyi∑i=1nxi2−(∑i=1nxi)2\frac{n\sum_{i=1}^nx_iy_i - \sum_{i=1}^nx_i\sum_{i=1}^ny_i}{\sum_{i=1}^nx_i^2 - (\sum_{i=1}^nx_i)^2}∑i=1nxi2−(∑i=1nxi)2n∑i=1nxiyi−∑i=1nxi∑i=1nyi - b的计算
b = ∑i=1nyi−A∑i=1nxin\frac{\sum_{i=1}^ny_i - A\sum_{i=1}^nx_i}{n}n∑i=1nyi−A∑i=1nxi
4.多元线性回归 X为矩阵形式,y为向量形式
令XXX 为 n×(m+1)n\times(m + 1)n×(m+1) 的设计矩阵，其中第一列全为 111，用于表示 β0\beta_0β0，其余列分别为 x1,x2,⋯ ,xmx_1,x_2,\cdots,x_mx1,x2,⋯,xm 的值，β=(β0,β1,⋯ ,βm)T\beta = (\beta_0,\beta_1,\cdots,\beta_m)^Tβ=(β0,β1,⋯,βm)T 为参数向量，y=(y1,y2,⋯ ,yn)Ty=(y_1,y_2,\cdots,y_n)^Ty=(y1,y2,⋯,yn)T 为目标值向量。
则参数 β\betaβ 的估计值为：
β^=(XTX)−1XTy\hat{\beta}=(X^TX)^{-1}X^Tyβ^=(XTX)−1XTy
扫一扫
9931
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
