17、人工智能技术解析与实践

人工智能技术解析与实践

1. 神经网络与支持向量机

1.1 神经网络相关知识

神经网络涵盖前馈神经网络和循环神经网络等类型。在学习神经网络时，除了了解反向传播算法，还需要掌握正则化、丢弃学习和网络调优等内容。部分资料提供了 R 代码，帮助我们更好地理解和实践。

Watt 等人（2020）给出了单层和多层网络的模型及数学公式，还介绍了多种激活函数，并提供 Python 代码用于从零创建神经网络。附录中讨论了反向模式自动微分，反向传播是其特殊情况。Hastie 等人（2009）介绍了单层神经网络及其反向传播算法。Brunton 和 Kutz（2022）以简洁方式介绍了单层和多层神经网络，同时给出 Matlab 和 Python 代码，对激活函数进行了简明阐述，并详细解释了反向传播的数学细节，还包含了关于深度卷积神经网络、循环神经网络和自动编码器的详细内容，展示了神经网络的多样性，此外还将神经网络应用于动态系统。

1.2 支持向量机相关知识

支持向量机（SVM）在分类问题中应用广泛。不同资料从不同角度对其进行了介绍。

Shah（2020）简要介绍了 SVM 用于分类的基础理论，并给出 R 语言的预测示例。Brunton 和 Kutz（2022）解释了线性和非线性 SVM，讨论了 SVM 的核方法，并提供 Python/Matlab 示例。Watt 等人（2020）通过边际感知器和 softmax 成本函数引入 SVM，讨论了软边际和硬边际、熵和质量指标。Wilmott（2022）对目标函数进行了推导。James 等人（2013）用一章的篇幅介绍 SVM，给出最大边际分类器的数学规划，让读者了解 SV 分类器和 SVM