70、深度学习中的模型训练、数据处理与网络架构

深度学习中的模型训练、数据处理与网络架构

一、自定义训练与Keras组件

在深度学习中，自定义训练循环虽然容易出错且复用代码较难，但在某些情况下是必要的。比如，当你想为神经网络的不同部分使用不同的优化器时，就需要自定义训练循环。同时，在调试或深入理解训练过程时，自定义训练循环也十分有用。

自定义Keras组件应能转换为TF Functions，这意味着要尽可能使用TF操作，并遵循相关规则。若必须在自定义组件中包含任意Python代码，可以用 tf.py_function() 操作封装，但这会降低性能并限制模型的可移植性；或者在创建自定义层或模型时设置 dynamic=True ，也可以在调用模型的 compile() 方法时设置 run_eagerly=True 。

创建动态Keras模型有助于调试，因为它不会将自定义组件编译为TF Function，你可以使用任何Python调试器调试代码。若要在模型或训练代码中包含任意Python代码，包括调用外部库，动态模型也很有用。要使模型动态化，可在创建时设置 dynamic=True ，或者在调用 compile() 方法时设置 run_eagerly=True 。不过，动态模型会阻止Keras使用TensorFlow的图特性，从而减慢训练和推理速度，并且无法导出计算图，限制模型的可移植性。

二、TensorFlow数据加载与预处理

2.1 Data API的优势