加勒比海鲜王

training set、development set and test set这三者是在进行一个机器学习项目中非常重要的内容。它们的确定往往决定了这个项目的走向。错误的训练集、开发集和测试集的划分很可能会让一个团队浪费数月时间。training set：顾名思义，是用来训练模型的。因此它占了所有数据的绝大部分。development set：用来对训练集训练出来的模型进行测试，通过测试结果来不

如果你是一个机器学习的实践者致力于生成模型、贝叶斯深度学习,或深度强化学习,normalizing flows是一个你算法工具包中方便的技术。normalizing flows变换简单的密度(如高斯函数)成为丰富复杂的分布,可用于生成模型,RL和变分推断。这个Tutorial由两部分组成： 1. 分布和决定因素：在这篇文章中,我解释了如何使用可逆转换的密度来实现更复杂的密度,以及这些转换可以链接在

桥接CF和半监督学习的POI推荐方式。 是一个使用了神经网络进行POI推荐的工作。文章中设计了一种叫做PACE的模型声称可以解决推荐问题中数据稀疏和存在一些相关的上下文（指的是某些关系会与推荐结果相关，称作上下文。例如社交关系可能对POI推荐带来影响）的问题。模型输入：one-hot形式的user向量和POI向量输出：1. （user-POI）以0， 1的形式输出，来代表user是否偏好这个POI

保留初心，砥砺前行最近看了Adversarial Autoencoders（以下简称AAE）这篇paper，就随便写几句笔记。paper链接，点我1. 概述：GAN和VAE是近年来很火的生成模型（关于GAN，我之前写过几篇了，需要的话点击文末的相关链接即可），对于这两个模型的研究层出不穷，变体无数，而将这两者结合也是一种优秀的思路。GAN说白了就是对抗，VAE就是一种Autoencoders，而本

首先，代码引用自https://github.com/wiseodd/generative-models 感谢这位网友的代码支持。每个月总有30天不想看论文，所以直接看源码或许是一个好办法。因为有些时候它的改动就那么一点点。而论文却要用晦涩难懂的语言证明上十几页。上边这个链接中给出了很多GAN和VAE以及各种变体的源码，并且写得清晰易懂，再次感谢这位网友的贡献。ConditionalGAN顾名思义

Natural Language Processing with Deep Learning课程代号CS224N，是斯坦福大学的有关自然语言处理的课程，并且是世界上有关神经网络与自然语言处理方面优秀的课程。找遍了网络也没有找到有中文翻译的，所以我这个英语渣只能强行听英文课程。因此做一些笔记方便以后复习。记录得也比较混乱。 第一讲是一个总体介绍，就没有写了。 以下内容来自课程视频以及PPT

保留初心，砥砺前行说实话，是聆听了大神们，本人只是捧哏似的嗯、啊了几句。之前paperweekly的GAN讨论组要进行一次讨论，给出了很多议题进行投票。里边有GAN in NLP、GAN and RL、半监督GAN等我比较感兴趣的话题。也有图像相关的关于GAN的正统问题。没想到最后GAN in NLP获得了最多的票数。我原来对于把GAN应用于NLP叫做剑走偏锋，没想到志同道合的人这么多…接下来是对

保留初心，砥砺前行这是上一次GAN for NLP的讨论记录，需要的同学拿去享用： 记录一次与大神们的关于GAN应用于NLP的讨论这次的讨论可能是因为题目不够大众，或者是做这方面的同学们太过羞涩，因此讨论的内容基本偏题，最后形成了大家自由讨论的局面。但是只要仔细观察，是可以看到其中是有着耀眼的闪光点的，至少对于我来说是这样的。重申以下观点： 下边的讨论问题与解答有些是文不对题的，首先是因为按照

保留初心，砥砺前行这次并没有标题党，说一文精通GAN什么的。因为毕竟paper才是基础。以下内容只是辅助作用，相当于paper重点内容的总结而已。再次强调，请读者先读paper。 Generative Adversarial Networkspaper不能完全搞懂没关系，看下边。第一个问题，GAN对噪声z的分布有要求吗？常用哪些分布？常用的有高斯分布 也可以用均匀分布为什么初始噪声是100维咧

很多刚刚入门的同学们面对一个刚刚到手的课题就像面对一块刚刚到手的烫山芋一样，无从下口… …是无从下手。那么应该如何开始呢？

在神经网络中，我们都要在每一个神经元的最后添加一个非线性的激活函数，也就是activation function。然而为什么需要呢？每一个神经元可以理解成y = w(input) + b –> output = activation function(y) 的过程。如果没有非线性的激活函数，则一个神经元的输出就变成了 output = w_1(input) + b_1 将这个ou...

文中图片均出自本人之手，做的相当凑合我们都知道在一个如下图的单元中 将x1、x2、x3减去均值除以方差也就是使输入数据的均值为0方差为1，可以加快该网络的训练速度。如果是在如下图的深层网络中呢？ 将输入值x1、x2、x3进行归一化操作之后只是加快了第一层网络的速度，并不能对后边的n层网络产生影响，这时我们应该怎么办呢。 简单来说就是将每一层前的输入包括输入层的x和隐藏层的a均进行减去均

梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中，参数的更新是按照如下公式进行的：W = W - αdW b = b - αdb其中α是学习率，dW、db是cost function对w和b的偏导数。 随机梯度下降和批梯度下降的区别只是输入的数据分别是mini-batch和all。然而，在曾经我发表的博客中提到了下图的问题。 可以看出

bias和variance在深度学习中是两个不同的概念，一个是偏差，一个是方差，这两个中文名字反而更让人混淆一点。偏差可以理解为训练出来的模型和真实数据分布的差距。 例如偏差小，说明模型和真实分布相差不大；偏差很大，说明训练出来的模型和真实分布相差较大。例如只用了一个直线，进行了一个复杂分布的二分类。很明显这个模型的偏差是很大的。方差很好理解，在数学上就是统计模型离散程度的计量，在深度学习中，

introduction Recommender system (RS) is a useful information €ltering tool for guiding users in a personalized way of discovering products or services they might be interested in from a large sp...