84、统计学习与深度学习：原理、方法与应用

统计学习与深度学习：原理、方法与应用

统计学习方法概述

统计学习方法涵盖了从简单的平均值计算到复杂模型构建，如贝叶斯网络等。这些方法在计算机科学、工程、计算生物学、神经科学、心理学和物理学等众多领域都有广泛应用。

常见统计学习方法

1. 贝叶斯学习方法 ：将学习视为一种概率推理形式，利用观测数据更新关于假设的先验分布。这种方法有助于实现奥卡姆剃刀原则，但对于复杂的假设空间，计算会变得难以处理。
2. 最大后验（MAP）学习 ：根据数据选择最可能的单个假设。该方法仍然使用假设先验，通常比完全贝叶斯学习更易于处理。
3. 最大似然学习 ：选择使数据似然性最大化的假设，等同于具有均匀先验的 MAP 学习。在简单情况下，如线性回归和完全可观测的贝叶斯网络，最大似然解可以通过封闭形式轻松找到。朴素贝叶斯学习是一种特别有效的技术，具有良好的扩展性。
4. 期望最大化（EM）算法 ：当存在隐藏变量时，可用于找到局部最大似然解。其应用包括使用高斯混合模型进行无监督聚类、学习贝叶斯网络和学习隐马尔可夫模型。
5. 贝叶斯网络结构学习 ：属于模型选择的一个例子，通常涉及在结构空间中进行离散搜索，需要一种方法来权衡模型复杂度和拟合度。
6. 非参数模型 ：使用数据点集合来表示分布，参数数量随训练集增长。最近邻方法查看与问题点最近的示例，而核方法则形成所有示例的距离加权组合。 <