53、深入理解核密度估计与核方法

深入理解核密度估计与核方法

1. 深度度量学习的训练技巧

深度度量学习（DML）除了加速技巧外，还有许多细节对性能至关重要。
- 小批量创建 ：
- 在分类问题中，从训练集中随机选择样本通常就足够了。但对于DML，每个小批量中需要有与当前样本相似和不相似的样本。
- 一种方法是使用难例挖掘技术；另一种是对先前学习的嵌入应用核心集方法来选择多样化的小批量。
- 简单策略：选择B/n个类别，然后从每个类别中随机选择Nc个样本，其中B是批量大小，Nc = 2是调优参数。
- 避免过拟合 ：
- 由于DML中使用的数据集通常较小，标准做法是使用在ImageNet上预训练的图像分类器（如GoogLeNet或ResNet），然后使用DML损失对模型进行微调。
- 数据增强也是常用的方法，在一些自监督学习方法中，数据增强是创建相似对的唯一方式。
- 球面嵌入约束（SEC） ：这是一个额外的批量正则化项，鼓励所有样本具有相同的范数。正则化器是该批量中（未归一化）嵌入范数的经验方差。它可以添加到现有的DML损失中，适度提高训练速度、稳定性和最终性能，类似于批量归一化的作用。

2. 核密度估计（KDE）

核密度估计是一种非参数密度估计方法，也是一种生成模型，它定义了一个概率分布p(x)，可以逐点评估并采样生成新数据。

2.1 密度核

在解释KDE之前，需要定义“核”。这里使用的是密度核，即函数K : R →R+，满足$\int K(x)dx = 1$和$K(−x