损失函数J的最小二乘思路推导

本文从贝叶斯理论出发,探讨为何最小二乘法成为回归分析中的首选方法。通过最大似然估计及高斯分布的特性,逐步推导出最小二乘损失函数,并解释其背后的思想。
  在许多文章中都有提到最小二乘的应用以及性质介绍,但是很少看到有人用数学的方式解释为什么是最小二乘而不是其他的函数。

  接下来我将一步一步地浅谈一下我对最小二乘思路的理解。

  首先是从贝叶斯理论出发,通过什么是似然函数,为什么要最大化似然函数,再利用高斯分布的maximum likelihood function 来推导出最小二乘的损失函数J


  由于文本编辑的原因,我就直接利用word截图了。

  作者才刚开始学习这一块内容,定有许多错误,希望大家指出。



参考文献:

1.《机器学习》周志华

2.《pattern recognition and machine learning》 C.Bishop

3.cs229讲义 Andrew Ng




评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值