eyexin2018的博客

在最新版本的 Matplotlib 中，set_color_cycle 方法已经被弃用，取而代之的是 set_prop_cycle 方法。运行launcher，这是基于TensorFlow1版本的，所以最好安装TensorFlow1的虚拟环境运行，会更顺畅一点，可以直接在CPU上跑。所以，与其这样不断的递归的解决问题，倒不如直接对matplotlib进行降级处理，满足它编写程序时所需的包版本要求，这是最简单快速的解决方案。不过CPU还是慢的，我这已经跑298次了，还没结束，几个小时了。

这次分享一篇更加高级的云计算任务调度的文章和代码，

前面陆续分享了基于policy gradient和DQN实现的深度强化学习任务调度仿真，上次的DQN没有实现fix-qtarget和experience replay，这次再分享实现了这两个方法的DQN任务调度仿真。代码是基于TensorFlow1.x实现的，可以在此基础上再修改优化，完整的代码可根据名字去GitHub上下载获取。经验重放，定义存储和存放次序，这里也可以自行修改。在学习过程定期更新网络。

前面已经分享过一个仿真项目，但是基于policy gradient方法实现的，考虑到许多人从零到一实现DQN方法有点难度，所以这次分享一个基于DQN实现的仿真项目，非常简单。这里之所以简单主要得益于它是用pytorch实现的，而pytorch各个版本之间差异不是非常大，可以互用。然后构建DAG，因为云计算中的任务大多是具有关联性的，是有向无环图。构建DQN的智能体，有Q值的计算和更新，才是基于值的强化学习方法。环境类，定义云计算资源，以及调度过程中状态的转移，训练过程等等。我添加了打印损失函数值的代码。

这个是1和2的大版本差异导致，tensorflow._api.v1.random，这种代码的出现，一般就是为了在2值应用1的代码，但往往会有许多问题，如果我们的TensorFlow版本就是1的，那直接tf.categorical就行了。这个代码以来的是比较老的TensorFlow版本，我们都知道TensorFlow1.x和TensorFlow2.x之间有很大差别，但其实，不同的1.x之间也有许多差异，可能就是版本的不同导致代码跑不了。云计算任务调度的研究大多数以来仿真研究，现梳理一些做过的代码研究。

(1)云计算云计算通过多种部署方式, 包括私有云、社区云、公有云、混合云4种部署模型, 通过基础设施即服务、平台即服务、软件即服务3种服务模式用户提供服务. 云计算有2个显著的特征, 快速弹性可扩展、按需付费服务.云计算关键技术分别有: 虚拟化技术、分布式数据存储技术、大规模数据管理技术、调度技术.(2)调度技术云计算中的调度一般分为两个部分: ① 资源调度: 资源调度是指对物理资源进行合理有效的管理和使用等; ② 任务调度: 将任务合理分配到合适的计算资源执行.(3)云环境中的服务交付模型云计