- 博客(6)
- 收藏
- 关注
RSS订阅原创 pytorch的随机种子
随机种子是什么？随机种子是针对随机方法而言的。随机方法：常见的随机方法有 生成随机数，以及其他的像 随机排序 之类的，后者本质上也是基于生成随机数来实现的。在深度学习中，比较常用的随机方法的应用有：网络的随机初始化，训练集的随机打乱等。随机种子的取值范围？可以是任意数字，如10，1000在pytorch中使用随机种子主要用于复现之前跑的结果。在使用PyTorch时，如果希望通过设置随机数种子，在gpu或cpu上固定每一次的训练结果，则需要在程序执行的开始处添加以下代码：def setup_s
2020-09-04 21:48:00
2238
原创 生成对抗网络（GAN）中的转置卷积过程理解
转置卷积又叫反卷积或分数步长的卷积，主要用于图像上采样。转置卷积过程的理解先看普通的卷积过程：输入图片大小为44，卷积核大小为33，输出特征图大小为2*2。输出特征图的计算公式为：上、下两个式子分别表示高和宽的计算方式，对于宽和高相等的输入图片，两公式是等价的。**再看转置卷积：计算公式如下：推导过程如下：转置卷积输出特征图的计算公式是由卷积操作输出的特征图的计算公式得到的。由于卷积输入是反卷积输出，卷积输出是反卷积输入，因此在反卷积这里需要对调：这里的Stride和Pad
2020-09-04 21:11:40
1210
原创 KL散度、JS散度与wasserstein距离
KL散度KL散度又称为相对熵，信息散度，信息增益。公式定义如下：KL散度可称为KL距离，但它并不满足距离的性质：（1）KL散度不是对称的；（2）KL散度不满足三角不等式。JS散度JS散度度量了两个概率分布的相似度，是基于KL散度的变体，解决了KL散度非对称的问题。一般地，JS散度是对称的，其取值是0到1之间。定义如下：KL散度和JS散度度量的时候有一个问题：当两个分布P,Q离得很远，完全没有重叠的时候，KL散度值是没有意义的，而JS散度值是一个常数。这意味着反向传播时的梯度为0。was
2020-06-10 21:05:17
957
原创 熵、相对熵、交叉熵等理解
**信息量**假设我们听到了两件事，分别如下：事件A：巴西队进入了2018世界杯决赛圈。事件B：中国队进入了2018世界杯决赛圈。仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关，...
2020-04-11 22:00:27
1147
原创 GAN系列学习笔记
GAN（生成对抗网络）学习笔记（一）：原理及损失函数的理解1. GAN的核心思想 GAN的核心思想在于博弈，GAN由两部分模型构成，一个是生成模型（G），一个是判别模型（D）。生成模型用于生成一个逼真的样本，判别模型用于判断模型输入的样本是真是假。生成模型要不断提升自己的造假本领，最终达到骗过判别模型的目的；判别模型要不断提升自己的判别能力，达到辨别真假样本的目的，这就形成了博弈/对抗。 对...
2020-03-13 22:17:15
471
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人