机器学习 ——regression

最新推荐文章于 2025-08-04 22:37:50 发布

原创最新推荐文章于 2025-08-04 22:37:50 发布 · 253 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习—回归

NLP 同时被 2 个专栏收录

8 篇文章

订阅专栏

Machine Learning

6 篇文章

订阅专栏

本文详细介绍了线性回归模型的基本原理，包括线性模型的定义、损失函数的计算方式，以及如何通过梯度下降法寻找最优参数，实现模型训练。文章还深入探讨了梯度下降算法的工作流程，为读者提供了理解和应用线性回归模型的全面指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Regression

预测模型

1.Model

Linear model：
$\sum w_i x_i$

2.Goodness of Function

Loss Function : output（ how bad it is）
$\sum_{i=1}^{N} (y^n -(b+w x_j ^i))^2$

3.Best Function

$w∗,b∗=arg⁡min⁡w,b∑i=1N(yn−(b+wxji))2w^{*},b^* = \mathop{\arg\min_{w,b}} \sum_{i=1}^{N} (y^n -(b+w x_j ^i))^2$

Gradient Descent （无约束最优化问题）
$min⁡x∈Rnf(x)\mathop{\min_{x \in R^n}} f(x)$

If in the convex (eg linear regression) will find the global minimum

Algorithm

get $x^{0}$
calculate the $g_k=g(x^{k})$ ,when $gk<εg_k < \varepsilon$ and $x^{*} = x^{k}$ ,end the algorithm. otherwise ,
$f(x(k)−λkgk)=min⁡λ≥0(f(x(k)−λgk))f(x^{(k)}-\lambda_{k} g_k) = \mathop{\min_{\lambda \geq0}}(f(x^{(k)}-\lambda g_k))$