heart_arsonists的博客

这个policy gradient代码是在tensorflow的框架中完成的，并且是基于openai gym 中的pendulum环境。此代码有借鉴莫凡老师的相关代码。有必要记录的一点是关于 self.sample_op = tf.squeeze(self.pi.sample(1)), 当没使用 tf.squueze 时，总会出现关于state shape的报错。尽管此时state已经是（1,3）的shape，但是会报错说是（3，1，1）的shape。要记得使用tf.squeeze。import ten

一般用法tf.distributions.Categorical(logits).log_prob(index)作为一个离散型分布，一个神经网络会输出分类数量长度的向量。举例，有4类，输出为[1,2,3,4]。我们想知道第三类（index 为 2）的log probability。此时只需将[1,2,3,4]作为参数logits，2作为参数index。其计算prob(index=2)=e3e1+e2+e3+e4=0.23688log_prob=log(0.23688)=−1.4402prob(in

今天运行代码时发现，跑完后 loss 记录出现问题。相关代码如下，记录loss时调用了global_step。但结果global_step一直未随网络update变化。self.summaries = tf.summary.merge([ tf.summary.scalar("loss", self.loss), tf.summary.scalar("loss_state", self.loss_state), tf.summary.

将tensor转换成numpysess =tf.Session() #定义一个sessionimage_decoded1=image_decoded1.eval(session=sess)这时候tensor就已经被成功转换，即可进行np的操作了。