22、深度学习阈值策略解析

深度学习阈值策略解析

在深度学习中，阈值策略对于处理类别不平衡数据至关重要。下面将详细介绍相关的模型、策略及实验结果。

1. 基础模型

基础架构和超参数是通过随机搜索过程确定的。对于每个数据集，会预留 10% 的拟合数据用于验证，在剩余 90% 的数据上训练模型，然后在验证集上进行评分。这个过程会针对每个超参数配置重复 10 次。超参数调整主要关注隐藏层数量、每层神经元数量和正则化技术。实验仅限于深度全连接模型，即包含两个或更多隐藏层的神经网络。

以下是选择的超参数配置：
- 优化器 ：所有三个数据集都使用小批量随机梯度下降，小批量大小为 256。采用 Adam 优化器，它能在训练过程中自适应参数特定的学习率，默认学习率 lr = 0.001 ，默认矩估计衰减率 β1 = 0.9 和 β2 = 0.999 。
- 激活函数 ：所有隐藏层神经元使用修正线性单元（ReLU）激活函数，输出层使用 sigmoid 激活函数来估计后验概率。
- 正则化技术 ：对于 Medicare 数据集，使用丢弃率 P = 0.5 ；对于 ECBDL’14 数据集，使用丢弃率 P = 0.8 。在每个隐藏单元的激活函数之前应用批量归一化。

以下是 Medicare Part B 数据集的两层基线架构：
| 层类型 | 神经元数量 | 参数数量 |
| ---- | ----