Chasing的博客

DDPG介绍及其示例Deep Deterministic Policy Gradient是DeepMind团队为Actor-Critic方法打造的升级版本，其实也就是Actor-critic和DQN的融合版本。下面给出示例程序，程序来源自网络。'''torch = 0.41'''import torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npimport gymimport time

DQN算法存在过估计问题，可以采用Double DQN方法来进行补偿。两种方法只在下图不同，其他地方一致。下图公式为 q_target 的输出值，DQN:Double DQN:

DQN的学习效果还是很惊艳的，首先放上本次实验的代码。和官方给出的例子一样，是托举平衡杆的问题。给出视频链接：强化学习DQNimport torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npfrom torch.autograd import Variableimport gym # 超参数BATCH_SIZE = 32LR = 0.01 # learning rate# 强化学习的参

上一讲回顾上一讲我们从零开始实现了Pytorch中的基本操作。首先从numpy中手写了基于最小loss（MSE）的线性回归程序（示例程序一）；然后从梯度下降的角度考虑，改写示例程序一，衍生成基于梯度下降的线性回归程序（示例程序二）；通过引入torch库函数，替换掉了原函数中的求梯度问题（采用.backward（）实现），完成了示例程序三；继续对示例程序三进行改写，定义了模型类，采用MSEloss以及SGD优化器，规范化了基于torch库的神经网络程序模型，整个模型框架分为四部分：4.1

说起深度学习，目前流行的主要有TensorFlow和Pytorch。其中TensorFlow目前主要应用于工业界，Pytorch在学术界用的比较多。TensorFlow目前正在向2.0转型，由于2.0与1.0差异较大，所以TensorFlow的生态社区目前并不是很友好。而Pytorch的生态社区较为完善。在官网上找到Windows下的安装说明所以，打开cmd，输入conda install pytorch torchvision cudatoolkit=10.2 -c pytorch 即可自动安装。