机器学习课程速览 Ⅲ

第贰节 : 深度学习的优点 why Deep Learing？

tip： 先修课程在2020年，待整套课程全部更新完毕，会补充前面的先修课程。

这节课开始进行深度学习的研究

引出问题 : 

陷入了两难 

• 如果选择大模型（可选Function比较多），虽然可以让L很低，但是理想和现实会有较大差距； 

• 如果选择小模型（可选Function比较少），虽然可以让L比较大，理想比较糟糕，但是理想和现实比较接近。

如果 找到某个Function找到 H （本身成员较少，成员都是精英——让Loss很低）可以使得鱼与熊掌兼得

 复习 ： Why Hidden Layer？ 

【本部分是先修课程是2020年的，待22年课程博客记录完毕，会提示更新20年课程】

我们可以通过 Hidden Layer 可以做出所有可能的 Function

趋于重合：绿色线段的生成过程

Sigmoid Function ：近似阶梯型的Function

通过设定不同的 Sigmoid Function 来生成不同的 Function ，足够多的就可以产生

通过 ReLU 的方式生成 Function

我们可以通过大量 ReLU来逼近任何的Function

why we need deep?

• 更高效找到 Function

高瘦的需要更少的参数(较少的训练资料)，可以更加有效的生成 Function.

举例Ⅰ ： 深多层的好处

举例Ⅱ ： 通过程序进行比较

举例Ⅲ ： 剪窗花

对折在对折就是 Deep Learning 的操作

只有一层的

两层 

x的变化从 0.5 到 1变化的时候，会轮回变换

可以让Loss很低的Funtion 则 Deep network会更高效