线性回归模型的公式推导

最新推荐文章于 2023-12-05 13:52:24 发布

原创

最新推荐文章于 2023-12-05 13:52:24 发布 · 635 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

本文详细介绍了线性回归模型的公式推导，通过添加常数项构建n行m+1列的特征矩阵X，以及m+1行1列的参数矩阵θ，最终得出线性模型Y=X*θ。采用最小二乘法作为损失函数，并通过求导计算得到最佳参数θ=(XTX)^(-1)XTY，进一步讨论了梯度下降法在求解线性回归中的应用。

线性回归模型的公式推导

y = $θ0+θ1x1+θ2x2+θ3x3+...+θmxm\theta_0 +\theta_1 x_1+\theta_2 x_2+\theta_3 x_3+...+\theta_m x_m$

因为现在需要有n个样本，每个样本有m个特征，为了将常数项加如矩阵，加入一列特征，所以有n行m+1列，矩阵大小为n*(m+1)

为了将常数项 $θ0\theta_0$ 包括进参数 $θ\theta$ 的矩阵中，我们需要将 $θ\theta$ 的维度扩充到m+1维。所以 $θ\theta$ 的矩阵有m+1行，矩阵大小为(m+1)*1

因为是是n中标签，所以y的大小为n*1
$\begin{pmatrix} &1 &x_1^1 &x_2^1 &. &. &x_m^1 \\ &1 &x_1^2 &x_1^2 &. &. &x_m^2\\ &. &. &. &. &. &. \\ &. &. &. &. &. &.\\ &1 &x_1^{n-1} &x_2^{n-1} &. &. &x_m^{n-1}\\ &1 &x_1^{n} &x_2^{n} &. &. &x_m^{n} \end{pmatrix}_{n*(m+1)} \theta = \begin{pmatrix} &\theta_0 \\ &\theta_1 \\ &. \\ &. \\ &\theta_{m-1} \\ &\theta_m \end{pmatrix}_{(m+1)*1} Y = \begin{pmatrix} &y_1 \\ &y_2 \\ &. \\ &. \\ &y_{n-1} \\ &y_n \end{pmatrix}_{n*1}$