4、机器学习高级主题与数学基础

机器学习高级主题与数学基础

1. 机器学习高级主题

1.1 非均匀性的益处与降维

在处理高维问题时，非均匀性数据分布带来了好处。非均匀性意味着数据的各维度并非相互独立，而是高度相关，许多维度是冗余的。这使得我们能够利用合理数量的训练数据和计算资源有效学习高维问题。基于此，产生了一类机器学习方法——降维。同时，高维空间中的非均匀分布还表明，真实数据往往集中在一个线性子空间或低维非线性子空间，即流形。流形学习旨在识别高维数据聚集的低维拓扑空间。

1.2 强化学习

强化学习关注如何教导计算机智能体在与未知环境的长期交互中采取最优行动。与标准监督学习不同，强化学习中的智能体在每一步不会从环境中获得明确的最佳行动指导，而是偶尔获得数值奖励（正或负）。其目标是学习在各种条件下应采取的行动（即策略），以最大化长期累积奖励。传统上，使用数值表来表示各种策略下不同行动的预期累积奖励，即 Q 学习。近年来，神经网络被用作函数逼近器来计算预期累积奖励，这种方法有时被称为深度强化学习（也称为深度 Q 学习）。

强化学习是一个通用的学习框架，但极具挑战性，因为智能体必须仅基于微弱的奖励信号探索潜在的巨大搜索空间。借助神经网络，深度强化学习方法在一些封闭的游戏场景（如雅达利视频游戏和古老的围棋）中取得了显著成功，但如何将这些方法扩展到现实世界的开放任务仍不明确。

1.3 元学习

学习算法的超参数是在自动学习之前必须手动指定的参数（例如 k - NN 算法中的 k 值）。元学习（也称为学习如何学习）是机器学习的一个子领域，它研究如何设计自动学习算法，以基于先前学习实验的元数据来改进现有学习算法的性能或学习算法本身。元数