30、深度学习中的超参数调优与迁移学习

深度学习中的超参数调优与迁移学习

1. 超参数调优

1.1 正则化函数

TF.Keras 支持多种正则化函数，用于控制模型的复杂度，防止过拟合：
- L1 ：绝对权重之和，也称为 Lasso 正则化。
- L2 ：平方权重之和，也称为 Ridge 正则化。
- L1L2 ：绝对权重和平方权重之和，也称为 Elastic Net 正则化。

现代 SOTA 研究论文中引用的消融研究通常使用 L2 权重正则化，值范围在 0.0005 到 0.001 之间。根据经验，超过 0.001 的值在权重正则化方面过于激进，训练可能无法收敛。

在 TF.Keras 中，可以使用 kernel_regularizer 关键字参数为每一层设置权重正则化。以下是为卷积层（Conv2D）指定 L2 权重衰减正则化的示例代码：

from tensorflow.keras.regularizers import L2
from tensorflow.keras.layers import Input, Conv2D

inputs = Input((128, 128, 3))
x = Conv2D(16, (3, 3), strides=(1, 1), kernel_regularizer=L2(0.001))(inputs)

1.2 标签平滑

标签平滑是从不同方向进行正则