41、深度学习的原理与伦理考量

深度学习的原理与伦理考量

1. 深度学习为何有效

在图像分类任务中，将16个卷积网络集成到不同深度的学生模型中，研究发现浅网络无法复制更深教师网络的性能，并且在参数预算固定的情况下，学生模型的性能随深度增加而提高。

当前大多数模型依赖卷积块或Transformer，这些网络为输入数据的局部区域共享参数，并逐渐将信息整合到整个输入中。这种约束意味着这些网络所能表示的函数并不通用。深度网络优越性的一种解释是，这些约束具有良好的归纳偏置，并且很难迫使浅网络遵循这些约束。

多层卷积架构即使在未经训练的情况下似乎也有内在的帮助。例如，未训练的CNN结构可作为去噪和超分辨率等低级任务的先验；随机初始化卷积核并固定其值，仅训练批量归一化的偏移和缩放因子，也能在图像分类中取得良好性能；随机初始化的卷积滤波器提取的特征可支持后续使用核模型进行图像分类。

将卷积网络提炼到较浅网络的实验表明，提炼到卷积架构比提炼到全连接网络效果更好，这表明卷积架构具有一些内在优势，也说明深度确实很重要。

深度学习的成功令人惊讶。优化高维损失函数存在挑战，而过度参数化和激活函数的选择是使深度网络易于处理的两个最重要因素。在训练过程中，参数通过低维子空间移动到一组相连的全局最小值之一，且局部最小值不明显。

神经网络的泛化能力也会随着过度参数化而提高，但其他因素，如最小值的平坦度和架构的归纳偏置也很重要。似乎大量参数和多个网络层对于良好的泛化都是必需的，但我们尚不清楚原因。目前仍有许多问题未得到解答，深度学习的研究仍由实证驱动，我们对其机制的理解还不够深入。

以下是相关问题：
- 问题1 ：考虑I