一些学科对机器学习的影响

人工智能：

学习概念的符号表示。作为搜索问题的机器学习。最为提高问题求解能力的学习。利用先验的知识和训练数据一起引导学习。

贝叶斯方法：

作为计算假设概率基础的贝叶斯法则。朴素贝叶斯分类器。未观测到变量估计值的算法。

计算复杂性理论：

不同学习任务中固有的复杂性的理论便捷，以计算量、训练样例数量、出错数量等衡量。

控制论：

熵和信息内容的度量。学习最小描述长度方法。编码假设时，对最佳训练序列的最佳编码及其关系。

哲学：

“奥坎姆的剃刀”：最简单的假设是最好的。将观察到的数据泛化的理由分析。

心理学和神经生物学：

时间的幂定律，该定律指出对于很大范围内的学习问题，人们的反应速度随着实践次数的幂级提高。激发人工神经网络学习模式的神经生物学研究。

统计学：

更具有限数据样本，对古籍假设精度时出现的误差（如偏差和方差）的刻画。置信区间，统计检验。