What is Machine Learning, Deep Learning and Structured Learning?

最新推荐文章于 2024-06-22 23:18:32 发布

我是个粉刷匠

最新推荐文章于 2024-06-22 23:18:32 发布

阅读量890

点赞数 1

分类专栏：李宏毅-ML(DS)-15秋文章标签：李宏毅机器学习深度学习

本文链接：https://blog.youkuaiyun.com/qq_18124075/article/details/81096325

版权

李宏毅-ML(DS)-15秋专栏收录该内容

8 篇文章

订阅专栏

链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/Brief%20ML%20(v2).pdf

首先我们在学习机器学习之前需要明白一个道理：机器学习并不是万能的，人类没法解决的问题，电脑也没有办法解决。那么机器学习的目的有事什么呢？从众多很复杂的任务中找到一个common patterns。因为我们的机器具有学习的能力。举个栗子，对于语音识别来说，让我们写语音识别的程序是很困难的。但是这个问题转化一下去写一个具有学习语音识别的模型来说还是比较可行的。机器学习的“学习”二字也可以理解为发现一个function，只不过这个function是一个比较抽象的东西。

机器学习框架

一个机器学习framework可以由如下模块组成：

首先，我们需要准备数据。一个pair数据含有x和y，其中x是输入数据，y是输出数据。然后我们在我们假设的function set里面选出最适合我们的训练数据集的一个function。即Best Function。最后，选好best function之后可以代入我们的测试数据中，预测出测试集输入对应的输出。这里，需要注意的是收集的数据需要分成训练集、验证集和测试集。这里，训练集是来训练function set的函数们，验证集是来判断哪个函数最好，测试集是去用最好的那个函数得出输出。

对于李宏毅老师的这门课，虽然名字叫做机器学习，但是主要以deep learning 和structured learning两部分为主。

Deep learning

什么是深度学习？

如果对方是一个非专业的人，我们可以说深度学习就是模拟人脑运作方式的一种东西。但是对于专业的人来说，其实深度学习并没有从神经科学里面借鉴多少东西，所以说也算不上是模拟人脑运作方式。更好的解释可以是：

深度学习是一条生产线，它是一种端到端的学习，即只关心上一个的输出，从而来作为自己的输入。而每个生产线的加工坊是自动地学习需要做什么事，不需要人为地经验性指导。这里每一个工作坊大多都是以神经网络为主(neural network)，每个神经网络是由多个neural组成，每一个neural是由一个简单的函数组成，比如sigmoid。

Deep v.s. Shallow

对于传统的机器学习方法来说，每一步都是根据先验性知识人为定义好的，是那些古圣先贤通过几十年的经验得到的硕果，无法再加入和减少每一个“加工坊”。而所谓地学习，只有少部分是根据data自动地学习得到的。

对于深度学习来说，正如前面所说，每一个“加工坊”都能够自动地从输入的data中学习应该做什么事儿，不需要人为经验性地定义。所以对于“加工坊”可以根据实际情况地增加和减少。这里的是“生产线”中，加工坊（f1->f2->…->f5）每一步都是从上一步的输出数据得到的学习，而且加工坊是由简单地检测到复杂地检测。以图像识别为例，刚开始每一层是侦测图中是否有简单的点和线，到比较深的层的时候去侦测图中是否有一些简单的图像。

深度学习的大起大落

早在1960年感知机就被提出来，并且取得了比较好的效果。但是后来人们发现它不能很好地解决非线性问题(后面会谈到)。过了10年，随着多层感知机的提出，解决了非线性问题。多层感知机其实和现在得DNN没啥本质性的差别。后来又发明了反向传播，但是人们发现当多层，其层数多于3的时候，效果会变差，但是不知道为啥会这样。并且在80年代末，人们还发现一层神经网络足够地好，所以干嘛还需要deep呢？于是神经网络再度进入了冷门。到了2006年，Hitton提出了RBM，这是一个历史性的突破，所以现在这玩意儿没人用了。神经网络再度成为了世人的焦点。