julac的博客

于是，老师决定做一个​“错题本”​​（目标网络），记录过去稳定的评分标准，用来更温和地指导你学习。如果价值函数估计与实际回报之间的TD-Error较大，减少Critic网络的误差，降低Actor网络的输出概率；如果价值函数估计与实际回报之间的TD-Error较小，减少Critic网络的误差，提高Actor网络的输出概率。DDPG算法采用Actor-Critic框架，利用深度神经网络近似策略和动作价值函数，利用随机梯度法训练策略网络和价值网络模型中的参数，并通过经验回放和双重网络结构提高学习稳定性。

view”使用与原始张量相同的内存块，因此该内存块中的任何更改都会影响所有视图以及与其关联的原始张量视图可以是连续的或不连续的。一个不连续的张量视图可以转换为连续的张量视图，并且会复制不连续的视图张量到新的内存空间中，因此数据将不再与原始数据块关联stride位置公式：给定一个strideABC(A，B，C)ABC，索引jkv(j, k, v)jkv在 1D 数据数组中的位置为A×jB×kC×vA×jB×kC×vview()和。

比如有的时候在一个变量已经参与了正向传播的计算，之后它的值被修改了，在做反向传播的时候如果还需要这个变量的值的话，我们肯定不能用那个后来修改的值吧，但没修改之前的原始值已经被释放掉了，我们怎么办？那些非叶子结点，是通过用户所定义的叶子节点的一系列运算生成的，也就是这些非叶子节点都是中间变量，一般情况下，用户不会去使用这些中间变量的梯度，所以为了节省内存，它们在用完之后就会被释放。， y 关于 x 的导数是1，和 x 无关），自然就不会去对比 b 前后的 version 了，所以不会报错。

在这个例子中，b 是用来计算 loss 的一个变量，我们在计算完 loss 之后，进行反向传播之前，修改 b 的值。这么做会导致相关的导数的计算结果错误，因为我们在计算导数的过程中还会用到 b 的值，但是它已经变了（和正向传播过程中的值不一样了）。当我们创建一个张量（tensor）的时候，如果没有特殊指定的话，那么这个张量是默认不需要求导的。虽然输入的训练数据是默认不求导的，但是神经网络中的所有参数，默认是求导的。举一个比较简单的例子，比如我们在训练一个网络的时候，我们从。

view”使用与原始张量相同的内存块，因此该内存块中的任何更改都会影响所有视图以及与其关联的原始张量视图可以是连续的或不连续的。一个不连续的张量视图可以转换为连续的张量视图，并且会复制不连续的视图张量到新的内存空间中，因此数据将不再与原始数据块关联stride位置公式：给定一个stride(A，B，C)，索引 (j, k, v) 在 1D 数据数组中的位置为 (A∗jB∗kC∗vA∗jB∗kC∗vview() 不能应用于 '非连续的张量/视图，它返回一个视图；

Numpy中的sum()方法和PyTorch中的sum()方法几乎相同，除了PyTorch中的dim在Numpy中被称作axis之外。我们首先指定行（2行），然后指定列（3列）。我们可以得出一个结论，第一个维度（dim=0）用于行，第二个维度（dim=1）用于列。当我们观察3D张量的形状时，我们会注意到新的维度被预处理并占据第一个位置（下面用粗体显示），即dim=0代表第三个维度。这个三维张量的第一个维度（dim=0）是最高的，包含3个二维张量。当我们描述二维张量的形状时，我们说它包含一些行和一些列。

pytorch: nn.Dropout 和 nn.functional.dropout 的区别

repeat()和expand()的区别

一篇文章入门pytorch&深度学习