借助 cost function 求出参数 使更合理的满足 traning set 中的所有 training examples.
在 Linear Regression ( 线性回归 ) 中 hypothesis ( 假设函数 ) 如下
设 则
.
cost function 表示 input values or feature 通过 hypothesis 得出 与 实际
之间关系.
抛开 cost function, 想一想怎么求 等于或无穷接近
的
.
方法2: 给 一个初始值, 不断更新
值 直到
接近
. ( 有限的枚举, 迭代, 一步步接近 )
方法3: 以数学的方式计算 值.( 看起来很高级, 省去了方法2的多次迭代,一般情况都适用 )
接下来依次讨论方法2与方法3 cost function 的使用及算法思想.
方法2:
讨论具体方法之前先考虑一个问题.
某工厂生产汽车零件, 零件规格 100mm 为合格品, 现有每批5个, 共A,B两批生产出的零件.
A: 100mm, 101mm, 100mm, 99mm, 100mm
B: 102mm, 100mm, 90mm, 110mm, 98mm
问: 哪一批零件更好一些.
数学中, 期望相同时, 可用方差判断波动..
我们以 与
的差的平方和作为 cost function, 为了使计算方便乘一个
.
寻找一个 使
取最小值, 使
.
计算 对
偏导求"斜率", 如同站在山邱下山最快的方法是沿着最陡峭的方向.
于是得出迭代公式 .
此公式中 为步长, 下山时一步迈多长;
为负
对
偏导, 下山时最陡峭的反方向.
不断迭代求出收敛的 , 得出 hypothesis function
.
方法3:
讨论具体方法之前先考虑一个问题.
求 的最小值, 求导, 导数等于零的点为极值点.
这个思想对于 寻找一个 使
取最小值 同样适用.
tip: ,
( 行列互换, 值没有变, 为了便于计算 )
即可直接算出 参数 , 得出 hypothesis function
.
证明另外会写. 关于为何这么取 cost function 以后会另解释.