线性回归（linear regression）

最新推荐文章于 2024-08-13 19:59:11 发布

原创

最新推荐文章于 2024-08-13 19:59:11 发布 · 2.2k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了线性回归的似然估计与最小二乘求解方法，探讨了如何通过最小化残差平方和来确定最佳参数。此外，还讨论了岭回归作为正则化的手段，以及在实际应用中如何选择正则参数。以Prostate数据集为例，展示了最小二乘和岭回归在数据分析中的应用。

一、似然估计

我们要做的是对一些数据进行参数拟合，然后进行预测的过程。在这个过程谁都想要得到最好的参数，并且能够抗干扰性强一些，因此这里就要考虑各种求参数的方法了。

对于线性回归，其一般形式为

$\begin{align*} y & = f(x) + \varepsilon \\ & = {w^T}x + \varepsilon \\ & = {w_0} + \sum\limits_{j = 1}^D {{w_j}{x_j} + \varepsilon } \end{align*}$

一般都会有截距项w0, 因此在进行估计的时候，我们都会对数据x , 在首列添加1. 进而估计参数w0.

拟合毕竟是估计，总要存在残差的，因此残差的分布我们经常假设为 $\varepsilon \sim N(0,{\sigma ^2})$

线性回归可写为：

$p(y|x,\theta) \sim N(y|w^Tx ,{\sigma ^2})$

其中 $\theta = (w, \sigma^2)$ ,

对于基函数的形式，我们可以进行扩展：

$p(y|x,\theta) \sim N(y|w^T\phi(x),{\sigma ^2})）$ ，这时我们仍然认为这是关于w 的线性回归。

进行参数求解自然想到极大似然估计，即

$\hat \theta \buildrel \Delta \over = \mathop {\arg \max }\limits_\theta \log p(D|\theta )$

假设数据是iid, 这样似然函数为：

$l( \theta) \buildrel \Delta \over = \log p(D| \theta ) = \sum\limits_{i = 1}^N \log p(y_i|x_i, \theta )$

极大似然可等价写作极小负log 似然损失（NLL）

$NLL( \theta) = - \sum\limits_{i = 1}^N \log p(y_i|x_i, \theta )$

我们将概率模型 $p(y|x,\theta) \sim N(y|w^Tx ,{\sigma ^2})$ 带入似然函数中有：

最低0.47元/天解锁文章

评论 1

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

添加红包

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

查看更多评论

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。