深度学习的前世今生

   好像最近人人都在谈人工智能，那人工智能到底是个啥。早期的人工智能项目致力于将世界的知识进行形式化的语言编码，计算机通过形式化的语言来理解既定的规则，这就是知识图谱的方法。然而该方法下，机器不具备自动学习知识的能力，于是机器学习被引入到AI实践中，以使得计算机能够解决未经人工设置规则的问题。机器学习是人工智能的一种实现手段，深度学习则是机器学习的一种方法。机器学习算法的性能在很大程度上依赖于模型输入特征的选择，其中传统机器学习提出了很多特征提取或者选择的方法比如众所周知的主成分分析，但这需要人工的提取与经验作为输入。深度学习作为一种用多层网络学习特征表示的方法，用简单的多层结构来学习复杂的表示，从一般抽象达到高级抽象，具备极大的能力和灵活性。

 

画个丑圈圈来表示~未知和待开拓的领域那么大~

唔~这图确实是很丑的呀

 

---

         深度学习历史其实可以追溯到一九四几年，发展几经沉浮，有观点认为，到目前为止，大概经历过三个阶段，三种化身（突然想到三世佛哈哈哈）。第一次浪潮是在四十到六十年代，那个时候化身控制论，模型被设计为输入向量，与其输出相关联，通过权重加权作为输出，权重有人工设定，这一模型即从最初的神经科学角度出发。随之感知机等能够通过随机梯度下降的自动学习权重的模型出现，但由于其局限性，例如不能学习异或问题，热度逐渐下降。如今由于人类仍不能理解神经元的活动，神经科学在深度学习中的作用逐步减弱。第二世于九十年代化身“连接机制”，重大成就一个是将大量简单计算单元连接在一起的分布式处理机制，第二个是反向传播算法的成功应用，这两大进步对于如今的机器学习具有极为重要的意义，LSTM的出现也在这一时代，然而由于模型的效果达不到预期，核模型、图模型集成学习等算法的兴起，历史，嗯，再次重演。

第三世开始在2006年，Hinton提出深度信念网络，通过逐层贪婪训练的方法，解决了一直以来神经网络模型难以训练的问题，这一策略被广泛应用，深度学习一步步走向第三次的高潮。各种深、极深的模型被提出，同时数据量的增加使得模型有更好的表现，软硬件基础设施的完善使得庞大的模型实现成为可能。深度学习的表现似乎还不曾让大家失望。目前深度学习已经不满足与传统领域的应用，人们通过深度学习希望可以解决无监督或者小数据集等问题。

随着Imagenet比赛中CNN的超人发挥，AlphaGo击败人类等火爆事件，这两年人工智能、深度学习已经成为饭桌闲谈，但主流方法似乎一直是在网络模型的加深加宽变形上做文章。当然，循着历史的轨迹，事物总有兴衰，变革才是永恒。

念叨两句题外话，这是一个双清小硕士，在时代的洪流和阴差阳错中冲到了这个领域，写博客初衷是想记录自己的点点滴滴，因为毕竟是Gibbs抽样是个啥查了八次都没记住的人，真的是给自己跪了。。。。

我的公众号是： 柒柒的自言自语，二维码如下，欢迎关注，笔芯

期待下次相遇