anthea_luo的博客

英伟达 显卡驱动 cuda cudnn 环境安装指导

在网上搜的一些doc2vec的例子，在处理数据时，有的用的LabeledSentence 也有用TaggedDocument 也有用TaggedLineDocument的。这几个名字长得好像，就搜了一下区别。大部分是讲 LabeledSentence TaggedDocument的区别，前者是老旧版本，不推荐使用，而推荐用后者。但 TaggedDocument TaggedLineDocument 的区别就搜不到了。翻源码看一下 就知道了：本人gensim 版本3.8.1L...

之前看GAN相关资料时， 对于"不同的光照，表情，姿态......等数据会导致图像的分布不同" 这样的语句有点难理解。 图像的概率分布? 图像怎么会有概率分布?当然现在能接受了。比如，如果是人类面部图像，则长椭圆 上1/3部位左右两边 出现狭长黑点(眉毛)的概率会比较大；又比如笑着的表情，下1/3部位中间出现白点(牙齿)概率会比较大。在看《这就是搜索引擎-核心技术详解》书时， 发现一个相通的：---以下摘自 此书第五章：模型索引与搜索排序（当拿到与用户查询相关的文档后 排序方法： ）拿到...

看张俊林老师的深度学习枕边书时，一直有个疑问，Bert既然那么好， 除了transformer提取特征，使用的是双向的语言模型， 那跟单向的GPT比，肯定更好呀，为什么还会有人用GPT呢？知道答案后，害，真是外行问题： Bert属于AE阵营，适用于语义理解等场景； GPT属于AR阵营，适用于生成文本。两大阵营之间，发展出来了xlnet.xlnet常搜到的一句话就是： 最大化所有可能的序列的因式分解顺序的期望对数似然刚开始对这句话相当不理解，即使后面看明白了处理，感觉上面的描述也只是有关联关系，好像

在看gpt2源码时，有这样一段：def attention_mask(nd, ns, *, dtype): """1's in the lower triangle, counting from the lower right corner. Same as tf.matrix_band_part(tf.ones([nd, ns]), -1, ns-nd), but do...

初看刘建平老师的word2vec原理时，有几个疑问：​1, 基于Hierarchical Softmax的word2vec计算过程，一会儿在说更新θ 一会儿在说更新词向量。现在使用word2vec 目标肯定是要得到最后的词向量。这个θ和词向量有何关联？2, 给定Xw 能有一条唯一的路径，我们要得到的词向量与这个路径有啥关系？​3, 评论中有人说 "词向量是CBOW或是Skip-Gram模型...

对于一个小批次的图像样本，NCHW [128,3,10,10], BN的过程，具体是怎样计算均值和方差的？下来找到部分相关代码如下：（\tensorflow\python\layers\normalization.py) def call(self, inputs, training=False): # First, compute the axes along which to...

昨天被问到如下问题，记录如下：inception网络中的resnet和concat，在最后的连接处的"累加"，处理是否相同?如图红色部分： 下来看了一下代码，部分如下：# Inception-Resnet-Cdef block8(net, scale=1.0, activation_fn=tf.nn.relu, scope=None, reuse=None):    """Builds the 8...

最近尝试将基于tensorflow的facenet模型转化成百度开MDL模型，有如下总结：（近日将补充）

参考这两个文章的部分笔记和理解：http://www.yidianzixun.com/home?page=article&id=0DRtwE6Ehttp://blog.youkuaiyun.com/dcxhun3/article/details/46878999输入input： 32 x 32 的图像使用:    6个 5x5  stride为 1的卷积核神经元 个数： （32－5+1） * （32 ...