cost function( 成本函数 ) 在 regression( 回归 ) ( 一 )

本文探讨了线性回归中参数求解的两种方法:通过梯度下降迭代逼近最优解和利用矩阵运算直接求解。介绍了如何定义代价函数并利用其进行参数优化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  借助 cost function 求出参数  使更合理的满足 traning set 中的所有 training examples.

  在 Linear Regression ( 线性回归 ) 中 hypothesis ( 假设函数 ) 如下

  

  设  则 

  cost function 表示 input values or feature 通过 hypothesis 得出 与 实际  之间关系.

抛开 cost function, 想一想怎么求  等于或无穷接近  的 .

方法1:  对  无穷枚举, 使  接近 .( 遥遥无期 )

方法2:  给 一个初始值, 不断更新  值 直到  接近 . ( 有限的枚举, 迭代, 一步步接近 )

方法3:  以数学的方式计算  值.( 看起来很高级, 省去了方法2的多次迭代,一般情况都适用 )


  接下来依次讨论方法2与方法3 cost function 的使用及算法思想.


方法2:

  讨论具体方法之前先考虑一个问题.

某工厂生产汽车零件, 零件规格 100mm 为合格品, 现有每批5个, 共A,B两批生产出的零件. 

A: 100mm, 101mm, 100mm, 99mm, 100mm

B: 102mm, 100mm, 90mm, 110mm, 98mm

问: 哪一批零件更好一些.

数学中, 期望相同时, 可用方差判断波动..


我们以  与  的差的平方和作为 cost function, 为了使计算方便乘一个 .

 

寻找一个  使  取最小值, 使  .

 计算  对  偏导求"斜率", 如同站在山邱下山最快的方法是沿着最陡峭的方向.

  

于是得出迭代公式  .

此公式中  为步长, 下山时一步迈多长; 为负 对  偏导, 下山时最陡峭的反方向.

不断迭代求出收敛的 , 得出 hypothesis function

  .


方法3:

  讨论具体方法之前先考虑一个问题.

  的最小值, 求导, 导数等于零的点为极值点.


这个思想对于 寻找一个  使  取最小值 同样适用. 

tip:  ( 行列互换, 值没有变, 为了便于计算 )




即可直接算出 参数 , 得出 hypothesis function

.


证明另外会写. 关于为何这么取 cost function 以后会另解释.



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值