19、机器学习：从经典模型到神经网络的探索

机器学习：从经典模型到神经网络的探索

1. 经典模型的适用场景

当模型的输入是向量，尤其是向量中的各个特征相互独立时（这是朴素贝叶斯分类器的关键假设），经典模型可能是合适的选择。因为经典模型将输入视为一个整体进行全局解释，无需在特征之间寻找额外的结构。

适用规则

当输入是没有空间结构的特征向量（与图像不同），且特征之间相互独立时，可以考虑使用经典模型。

注意事项

这些规则只是经验性的建议，并不总是适用于特定问题。即使这些规则适用，也可以使用深度网络，但可能无法获得最佳性能，甚至可能造成资源浪费。

经典模型实验

常见的经典机器学习模型包括最近质心、k近邻、朴素贝叶斯、决策树、随机森林和支持向量机。通过将这些模型应用于鸢尾花、乳腺癌和MNIST数字三个数据集的实验，我们可以深入了解每种模型的优缺点，以及不同数据预处理步骤的影响。

2. 神经网络简介

神经网络是深度学习的核心。在深入研究传统神经网络之前，我们先了解神经网络的结构，并通过一个简单的例子进行说明。

神经网络结构

神经网络是一种图结构，由节点（通常用圆圈表示）和边（短线段）连接而成。这种抽象结构可以表示各种关系，如城市之间的道路、社交媒体中的人际关系、互联网的结构，以及用于近似任何数学函数的基本计算单元。

神经网络是通用函数逼近器，它通过图结构将输入特征向量映射到输出值，通常解释为概率。神经网络按层构建，信息从左到右通过网络，节点根据输入计算新值，并将其传递到下一层，直到到达输出节点。

全连接前馈神经网络