9、神经网络与浅层神经网络机器学习入门

神经网络与浅层神经网络机器学习入门

1. 神经网络基础

神经网络可以被看作是对生物学习过程的模拟，但更直接的理解是将其视为计算图。计算图通过递归组合简单函数来学习更复杂的函数。由于这些计算图是参数化的，问题通常归结为学习图的参数以优化损失函数。

最简单的神经网络类型往往是基本的机器学习模型，如最小二乘法回归。神经网络的真正强大之处在于使用更复杂的底层函数组合。这些网络的参数通过一种动态规划方法——反向传播来学习。

然而，学习神经网络模型存在一些挑战，如过拟合和训练不稳定。近年来，许多算法的进步减少了这些问题。在特定领域（如文本和图像）设计深度学习方法需要精心设计的架构，例如循环神经网络和卷积神经网络。对于需要系统学习一系列决策的动态场景，强化学习等方法很有用。

2. 图像特征提取与迁移学习

卷积神经网络常基于特定数据集进行训练，预训练的网络可用于从任意图像中提取特征。这种图像表示由神经网络倒数第二层的隐藏激活定义。这种方法为图像数据集创建了新的多维表示，适用于传统机器学习方法。可以将这种方法视为一种迁移学习，即将 ImageNet 数据集中的视觉概念迁移到其他应用的未知数据对象上。

3. 神经网络发展历程

• 早期算法 ：感知机算法由 Rosenblatt 提出。为解决稳定性问题，出现了口袋算法、Maxover 算法等基于边际的方法。其他早期类似算法包括 Widrow - Hoff 和 Winnow 算法。Winnow 算法使用乘法更新而非加法更新，在许多特征无关时特别有用。
• 反向传播算法 ：反向传播的