15、基于TF - agents的强化学习实践

基于TF - agents的强化学习实践

1. TF - agents简介

TF - agents（https://github.com/tensorflow/agents）是TensorFlow团队推出的一个库，它让强化学习算法的实现、部署和测试变得更加容易。该库提供了经过良好测试且模块化的组件，这些组件可以被修改和扩展，同时借助良好的测试集成和基准测试功能，能够实现更快的代码迭代。它还提供基于Colab的教程，我们可以从DQN教程入手，让一个智能体在CartPole环境中运行起来。不过需要注意的是，TF - agents仍在积极开发中，其接口会频繁变动。

TF - agents作为基于TensorFlow的强化学习库，使得实验变得更加便捷，并且以下组件是开箱即用的：
| 组件名称 | 功能描述 |
| ---- | ---- |
| ActorDistributionNetwork | 创建一个生成正态或分类分布的智能体，继承自DistributionNetwork和Network类 |
| CriticNetwork | 创建一个评判网络，继承自Network类 |
| SacAgent | 实现Soft Actor Critic（SAC）算法，以离线策略的方式优化随机策略 |

1.1 ActorDistributionNetwork

actor_net = actor_distribution_network.ActorDistributionNetwork(
    train_env.observation_spec(), train