李宏毅机器学习笔记

2018.10.09开始看李宏毅的机器学习课，把重要的笔记记下来

• 各种模型之间的关系

 

10月10日

• 为什么要使用Regulation

正则项目的：使目标函数尽可能的平滑，尽量使Wi小一点

                      Wi小的比较好（因为输入值有很大变化，对输出的影响相对没有那么大）

                      λ越大，函数越平滑

                      但是λ太大了，就太平滑，不能正确拟合函数了

                      正则项不考虑b, 因为b对函数的平滑程度没有影响

 

10月11日

bias VS variance

bias： 样本点平均离中心远近

variance： 样本点有多散

variance 大	overfitting	增加data, 正则化
bias 大	underfitting	修正model（增加data没用的）

 

10.12

Adagrad: 考虑前面每一步的梯度，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同

       

 

10 .17

 Probabilistic Generative Model

找出一个分布，最有可能选出目前已有的数据