本文通过点到直线的距离公式来解释正交回归，目标是找到一条直线，使得所有数据点到该直线的距离平方之和最小。通过推导目标函数对参数a和b的偏导数，最终得到的正交回归直线与之前方法一致，证明了这种方法的正确性。
另一种推导方法-点到直线的距离公式
从几何意义上理解正交回归，就是找一条直线，使得点到直线的距离平方之和最小。所以如果用点到直线的距离公式当做目标函数，最后拟合的结果应该与正交回归得出的结果相同。下面继续推导，做一下验证。
目标函数
同样假设直线方程为 y = a x + b y=ax+b y=ax+b，则点 ( x i , y i ) (x_i,y_i) (xi,yi)到直线的距离为：
d i = ∣ a x i − y + b ∣ a 2 + 1 d_i=\dfrac{|ax_i-y+b|}{\sqrt{a^2+1}} di=a2+1∣axi−y+b∣
这时，目标函数可以写成：
J 2 = ∑ d i 2 = ∑ ( a x i − y + b ) 2 a 2 + 1 \bm{J}_2=\sum d_i^2=\sum\dfrac{(ax_i-y+b)^2}{a^2+1} J2=∑di2=∑a2+1(axi−y+b)2
推导过程
目标函数 J 2 \bm{J}_2 J2对 b b b求导：
∂ J 2 ∂ b = 1 a 2 + 1 ∑ ( 2 b + 2 a x i − 2 y i ) \dfrac{\partial \bm{J}_2}{\partial b}=\dfrac{1}{a^2+1}\sum(2b+2ax_i-2y_i)
最低0.47元/天 解锁文章
扫一扫
7
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
