多元线性回归编程实现

最新推荐文章于 2023-11-16 17:56:55 发布

微淡

最新推荐文章于 2023-11-16 17:56:55 发布

阅读量953

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/WDlanguang/article/details/98587850

python 专栏收录该内容

9 篇文章

订阅专栏

多元线性回归：

现有一个包含m个样本的数据集，其中每一个样本都有n个指标值和一个标签值，现试图寻找一种线性关系（加法或数乘运算），使得每个样本的n个指标值都能对应各自的标签值。此时这n个指标值和对应的标签值都已给出，我们需要考虑的问题就是怎样得到这种关系。
首先我们可以假设线性关系是

$f(X)=Xω+bf(X)=X\omega+b$

其中矩阵 $X$ 的每一行表示一个样本的指标数据， $b$ 是常数项，
令 $X = (X, 1)$ ， $ω=(ω;b)\omega=(\omega;b)$ ，则原式变为

$f(X)=Xωf(X)=X\omega$

采用均方误差作为性能度量，并让均方误差最小化，即

$E(ω∗)=argmin(Y−Xω)T(Y−Xω)E(\omega^*)=argmin(Y-X\omega)^T(Y-X\omega)$

解这个方程可以使用最小二乘法，方程两边同时对 $ω\omega$ 求导（关于矩阵的求导可以参考），并令结果为零，得到

$∂E(ω∗)∂ω=−2YTX+2ωTXTX=0\frac{\partial E(\omega^*)}{\partial\omega}=-2Y^TX+2\omega^TX^TX=0$

当 $X^TX$ 为满秩矩阵时，可得到

$ω=(XTX)−1XTY\omega=(X^TX)^{-1}X^TY$

最后再代入等式 $f(X)=Xωf(X)=X\omega$ 即可

python代码实现如下

class LinearRegression:
    """
        omega： 拟合参数
        fit  ： 训练函数，得到拟合参数
        predict： 预测并输出结果
    """
    def __init__(self):
        pass
        
    def fit(self,x,y):
        xt = np.insert(x,0,1,axis=1)
        self.omega = np.linalg.inv(xt.T.dot(xt)).dot(xt.T).dot(y)

    def predict(self,x):
        try:
            x=np.insert(x,0,1,axis=1)
            return x.dot(self.omega).reshape(-1,1)
        except:
            x=np.insert(x,0,1,axis=0)
            return x.dot(self.omega)