
深度学习
yuan学习之路
这个作者很懒,什么都没留下…
展开
-
GAN的理论基础之KL散度与JS散度
在介绍KL散度和JS散度之前,我们需要了解什么是信息熵,什么是交叉熵。香农信息量、信息熵香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 当对数的底数为2时,香农信息量的单位为比特香农信息量描述的是随机变量在某一点...原创 2019-01-23 10:31:18 · 4995 阅读 · 0 评论 -
原始GAN的问题
原始GAN的问题一:GAN的生成器一般是从某个低维(如100)的随机分布中采样出一个编码向量再经过一个神经网络生成出一个高维样本(如64*64=4096)。当生成器的参数固定时,生成样本的概率分布虽然定义在4096维上,但它本身所有可能产生的变化已经被100维限制了,再考虑神经网络的映射降维,最终可能比100还小,所以生成样本的支撑集就在4096维空间中构成一个最多100维的低维流形,撑不满整...原创 2019-03-21 16:20:20 · 1001 阅读 · 0 评论