机器学习和深度学习的总体思想

• 深度学习属于机器学习的范畴，都是根据可观测数据$X$预测结果$Y$的，其中$X$和$Y$都是经过量化后具有指代意义的向量。机器学习相信万事万物皆有规律，只是规律的复杂和简单的问题，因而认为一定能够找到一个函数 $f$（也可能是$p(Y|X)$）使得$Y$=$f(X)$。这个$f$就是我们要找的模型，$X$是我们的训练样本，$Y$即是我们的目标预测结果。
  
• 大道至简，如何实现呢？训练模型时需要注意什么呢？
• 我们要确定我们的预测是一个什么样的问题，分类、回归、关联性分析（推荐）、异常值检测、去噪、转录、机器翻译、合成采样、概率密度或质量估计等，接着，确定我们的问题是否有标签（有标签为监督学习、无标签为无监督学习），以上的合总我们称之为机器学习的任务$Task（T）$；那么如何衡量我们这个任务学习的好坏？我们用$Performance（P）$表示模型$f$的学习性能，通常用准确率（$accuracy$）或者错误率（$errorrate$）代表$P$，怎么学呢？基于一种思想，归纳经验所总结的规律能够高效的预测，我们用$Experience(E)$代表经验。因此，用经验$E$去学习任务$T$，每次衡量学习的性能$P$，不断反复迭代，直至性能最佳的状态时即确定模型$f$
• 深度学习
• 深度学习和机器学习和机器学习有很大的不同，因为它的模型结构非常仿生，我们可以把网络理解成一个$f$，它的核心思想是万能趋近定理：一个前馈神经网络如果具有线性输出层和至少一层具有任何挤压性质的激活函数的隐藏层，只要给与网络足够数量的隐藏单元，它可以以任意精度来近似任何从一个有限维空间borel可测函数。前馈网络的导数也可以任意好的来近似导数，这给了神经网络强大的理论威力，神经网络可以解决任何预测问题，只不过找到这个网络有时是不可能的事情，但也几乎可以解决大部分问题。