71、机器学习与模型部署全面指南

机器学习与模型部署全面指南

1. 强化学习相关要点

在强化学习中，智能体有时会在环境的同一区域停留一段时间，这期间它的所有经验都非常相似，这会给学习算法带来偏差。智能体可能会针对该区域调整策略，但一旦离开这个区域，表现就会变差。解决这个问题可以使用回放记忆，即智能体基于过去经验的缓冲区进行学习，而不只是使用最近的经验。

另外，有两种不同的强化学习算法：离策略（off - policy）和在策略（on - policy）。离策略算法在智能体遵循不同策略时学习最优策略的值，Q - Learning 就是这类算法的典型例子。而在策略算法学习智能体实际执行的策略的值，包括探索和利用。

2. TensorFlow 模型存储与检查

SavedModel 包含 TensorFlow 模型，包括其架构（计算图）和权重。它存储为一个目录，包含 saved_model.pb 文件（定义计算图，以序列化协议缓冲区表示）和 variables 子目录（包含变量值）。对于包含大量权重的模型，变量值可能会分散在多个文件中。此外，还有一个 assets 子目录，可能包含额外的数据，如词汇文件、类名或示例实例。

要检查 SavedModel，可以使用命令行工具 saved_model_cli ，或者使用 tf.saved_model.load() 在 Python 中加载并检查。

3. TF Serving 部署模型

TF Serving 允许部署多个 TensorFlow 模