使用mujoco加载模型和控制、以及训练（一）

首先是准备环境的过程，我们这里直接在windows下准备环境和训练
我们以b站视频

顺便说一下，这个熟悉的公式，末端执行器的速度信息是由各关节的速度信息以及一个雅可比矩阵决定的，行是末端执行器的6维速度，列是关节的速度信息（1个关节当然只有一个确定的运动！！）

环境准备

安装mujoco

下载安装mujoco，直接下载的最新版本的mujoco进行使用。
https://github.com/google-deepmind/mujoco/releases

然后添加环境变量的信息：


以及在Path中添加

安装cuda和cudnn

我们默认是安装了nvidia-smi的驱动了的，这里就从cuda和cudnn的安装开始吧。不过对于强化学习来说，cpu和gpu训练区别不大。
安装conda然后创建一个虚拟的python环境。
然后安装cuda和cudnn：
https://developer.nvidia.com/cuda-toolkit-archive
https://developer.nvidia.com/rdp/cudnn-archive
我选择的是cuda-11.8的版本，安装cuda时，直接运行exe即可（如果出现CRC error的问题，改用network的安装形式），注意选择自己需要安装的目录下。

然后把cudnn的文件放入cuda的安装目录下：
下载 cuDNN
访问cuDNN 归档页，登录 NVIDIA 开发者账号（无账号需注册，免费）。
选择与 CUDA 匹配的版本：例如cuDNN v8.9.2 for CUDA 11.x，下载 Windows 版本（cudnn-windows-x86_64-8.9.2.26_cuda11-archive.zip）。
解压并复制文件
解压下载的 zip 包，得到cudnn-windows-x86_64-8.9.2.26_cuda11-archive文件夹，内部包含bin、include、lib三个子文件夹。
将这三个文件夹复制到 CUDA 安装目录（默认C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8），覆盖同名文件夹（若提示 “合并” 或 “替换”，选择 “是”）。
验证 cuDNN 安装
检查 CUDA 目录下是否存在以下文件（说明复制成功）：
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin\cudnn64_8.dll
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include\cudnn.h

接下来是torch等基础环境：

pip install stable_baselines3[extra] mujoco

卸载cpu版本的torch：

pip uninstall torch torchvision torchaudio

安装cuda版本

pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple/ --extra-index-url https://download.pytorch.org/whl/cu118

最后直接开始训练即可：

python train_robot_arm.py

等到训练完成后我们测试一下模型即可。

这个比较简单，我们学习到的mujoco的操作不多。