38、TensorFlow 自定义模型训练与数据处理

TensorFlow 自定义模型训练与数据处理

1. 自定义训练的细节

在训练过程中，通常不会处理训练集中的每一个实例，因为会随机采样实例，这就导致有些实例会被处理多次，而有些则完全不会被处理。另外，如果训练集的大小不是批量大小的倍数，还会遗漏一些实例，但在实际应用中这是可以接受的。

在每个训练周期结束时，需要再次显示状态条以使其看起来完整，并打印换行符，同时重置平均损失和指标的状态。

若设置了优化器的 clipnorm 或 clipvalue 超参数，它会自动处理梯度裁剪。若要对梯度应用其他变换，可在调用 apply_gradients() 方法之前进行。

如果为模型添加了权重约束（例如在创建层时设置 kernel_constraint 或 bias_constraint ），则应在调用 apply_gradients() 之后更新训练循环以应用这些约束，示例代码如下：

for variable in model.variables:
    if variable.constraint is not None:
        variable.assign(variable.constraint(variable))

需要注意的是，这种训练循环无法处理在训练和测试时行为不同的层（如 BatchNormalization 或