github：https://github.com/zhongzhengli13

本文总结了在AutoDL云服务器上训练和测试Qmini机器人的实践经验。由于云服务器headless环境存在驱动兼容性问题，无法正常渲染和录制视频，建议采用云端训练+本地测试的方案。具体流程包括：使用train.py训练模型，通过TensorBoard查看结果，用play.py测试策略，导出ONNX模型，以及调试URDF和PID参数。常见问题如6006端口占用可通过lsof解决，而渲染失败问题则需在本地Ubuntu系统进行演示。这种分离式方案能有效规避云端渲染限制，提高开发效率。

演员-裁判方法，这种方法在处理复杂环境和高维状态空间时特别有效，因为它利用了策略的直接建模和价值函数的指导。

基于策略的学习：如果已知一个好的策略函数π，智能体可以根据该策略随机采样动作a∼π（s）策略网络：通过策略梯度算法学习策略网络，以最大化期望回报。策略梯度算法：学习参数θ，以最大化 E[VS;θ)]。

基于价值的强化学习

强化学习基础知识点的解析。