35、TensorFlow 自定义模型训练与数据处理

TensorFlow 自定义模型训练与数据处理

1. 自定义训练中的要点

在自定义训练过程中，存在一些需要注意的点。首先，训练集的实例并非都会被处理，因为采用随机采样，所以部分实例可能被多次处理，而有些则完全未被处理，在实际应用中这是可行的。若训练集大小并非批量大小的倍数，会有少量实例被遗漏。

训练步骤如下：
- 让梯度带计算损失相对于每个可训练变量（并非所有变量）的梯度，并将其应用于优化器以执行梯度下降步骤。
- 更新当前轮次的平均损失和指标，并显示状态条。
- 每轮结束时，再次显示状态条以使其完整，并打印换行符，同时重置平均损失和指标的状态。

若设置了优化器的 clipnorm 或 clipvalue 超参数，它会自动处理梯度裁剪。若要对梯度应用其他变换，可在调用 apply_gradients() 方法之前进行。若为模型添加了权重约束（如创建层时设置 kernel_constraint 或 bias_constraint ），应在 apply_gradients() 之后更新训练循环以应用这些约束，示例代码如下：

for variable in model.variables:
    if variable.constraint is not None:
        variable.assign(variable.constraint(variable))