连载翻译 | 流形学习的数学基础-1介绍

深度学习的降维过程实质上是学习高维数据的流形结构，常用的卷积神经网络产生特征后，即可以接全连接神经网络，也可以用其他机器学习方法，这个过程是学习概率分布，所以说端到端的深度学习算法是模糊了这两个过程，概率分布的学习目前已经有了较多的方法，但是深度学习对流形结构的学习和降维目前的约束和认识是非常弱的，因此有必要将流行正则化框架融入到目前的深度学习框架中。

博客：https://blog.youkuaiyun.com/weixin_38817895/article/details/110505860

1.1 什么是学习？

从很小的时候起，我们的父母和老师就向我们灌输学习的重要性。我们以学习的名义去上学，做作业，写毕业论文。但是学习到底是什么呢?

想要回答上述问题的学习理论，可以追溯到柏拉图时代。柏拉图在《斐多篇》中提出的理论认为，学习是对出生时或出生之前获得的先天知识的重新发现。在过去的两千年里，认识论家们一直在争论学习的意义和机制，约翰·洛克(John Locke)提出了一个基于被动获取简单观念的理论。理解学习的科学方法始于19世纪。例如，伊凡·巴甫洛夫著名的经典条件反射实验，展示了狗是如何学会将一种刺激(如铃声)与另一种刺激(如食物)联系起来的。现在，许多学科都有专门研究学习理论的子领域:心理学、神经科学、教育学和语言学等。

在过去的几十年里，计算机的崛起和扩散促使研究人员思考计算机算法学习意味着什么。具体来说，过去20年见证了机器学习研究的激增，机器学习是一种可以在没有明确编程的情况下执行任务的算法。现在这些机器学习算法被集成到大量的真实世界系统和应用程序中，可以说是无处不在。从谷歌搜索到Netflix的推荐引擎再到苹果的面部识别软件，大部分现代计算机应用的“智能”是机器学习的产物。

本文采用数学方法来研究机器学习，目标是建立和分析基于理论的学习算法。我们特别关注半监督学习的子领域，其中机器学习模型在未标记数据和标记数据上进行训练。为了理解现代半监督学习方法，我们开发了一个谱图理论和黎曼几何学的数学方法工具箱。在整个论文中，我们会发现，理解机器学习算法的底层数学结构，可以让我们对其进行解释、改进和扩展。