手写线性回归

最新推荐文章于 2025-03-16 01:56:03 发布

xingzhe2001

最新推荐文章于 2025-03-16 01:56:03 发布

阅读量908

点赞数 1

分类专栏： Machine Learning 文章标签： Linear Regression

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/xingzhe2001/article/details/85483698

版权

本文详细介绍了线性回归的基本原理，包括预测函数、代价函数的推导，以及最小二乘法的训练过程。通过实例展示了如何使用梯度下降法进行优化，并给出了线性回归的简单实现及测试用例。讨论了数据预处理对收敛速度的影响，以及超参数alpha的选择对迭代速度的控制。最后提到了随机梯度下降法作为另一种快速计算的优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

纸质笔记本很容易丢失，还是记在网上吧

线性回归是最基础的机器学习模型，假设结果和特征关系为线性，从而来预测结果

预测函数为

$h_\theta(X)=\theta_0 + \theta_1 x_1\cdots =\theta^TX$

训练的时候要最小化代价函数

根据中心极限定理，多个独立原因导致的分布是正态分布。那么多个样本的误差满足正态分布，可以通过最大化似然函数推出训练过程其实就是最小二乘法。

因为对于单个样本，误差满足

$\varepsilon^{(i)} \sim \mathbb{N}(\theta^TX^{(i)}, \sigma^2)$

即

$P(y^{(i)} | x^{(i)}; \theta) \sim \mathbb{N}(\theta^TX^{(i)}, \sigma^2)$

假设所有样本是独立同分布的，那么所有样本的似然函数为

$L(\theta)=P(y|x;\theta)=\prod_{i=1}^m P(y^{(i)}|x^{(i)};\theta)$

为了计算方便取对数

$l(\theta) = \log L(\theta) = \sum \log P = m \log \frac{1}{\sqrt{2\pi}\sigma} + \sum_{i=1}^m -\frac{(y^{(i)} - \theta^Tx^{(i)})^2}{2 \sigma^2}$

最大化 l(theta)就是最小化

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。