蓁蓁尔的博客

下面的内容和theano的计算图 computing graph 概念结合着学习会更容易理解。1.theano定义符号变量：3种：标量（scalar）、向量（vector）和矩阵（matrix）可在前面加’b’,’w’,’i’,’l’,’f’,’d’,’c’分别表示8位，16位，32位，64位的整数，float，double以及负数。比如imatrix就是32位整数类型的矩阵，dvector就是单精

一。推荐任务分三类： 评分预测类任务（近几年热度：2）， 排序预测类任务（top N 推荐，近几年热度：3） 分类任务（热度：1）。 推荐系统算法方面分三类： 协同过滤（CF）, 基于内容的推荐（CB） 混合推荐。 二。目前的推荐算法中用到的8类深度学习模型： MLP（理论上可以拟合各种函数，可以非常容易的model用户和项目间的非线性关系）， AE及其变体（非监督，超强的特征学习能力），

收藏夹有一点爆炸，所以在这边开一个帖子直接扔这吧，下面的资料常看，温故知新。 网络表示学习（network representation learning，NRL）,也被称为图嵌入方法（graph embedding method，GEM）是这两年兴起的工作，目前很热，许多直接研究网络表示学习的工作和同时优化网络表示+下游任务的工作正在进行中。 1.清华大学计算机系

原文：神经网络浅讲：从神经元到深度学习 这篇文章介绍很好，深入浅出、很容易懂但是该有的东西都讲到了，一口气看下来会觉得很爽。因为文章很长所以下面主要是上文中的一些摘抄。1.神经网络的“三起三落” 1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP。 神经元： 影响： 1943年发布的MP模型，简单却建立了神经网络大厦的地基

从计算图（computational graph）角度看BP（back propagation）算法，这也是目前各大深度学习框架中用到的，Tensorflow, Theano, CNTK等。参考【1】一、通用形式1. 什么是计算图结构 从下图中我们可以清楚地看到 （1）可以将计算图看作是一种用来描述function的语言，图中的节点node代表function的输入（可以是常数、向量、张量等），

在看斯坦福大学的UFLDL（非监督特征学习和深度学习）教程时，发现了一个博客，在看教程的过程中不懂得问题，大部分在博客中得到了解答。转到自己帖子中方便以后重新查看。01.神经网络 UFLDL：http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C 博客：http://blog.csd

交叉熵代价函数（作用及公式推导） http://blog.youkuaiyun.com/u014313009/article/details/51043064交叉熵代价函数 http://blog.youkuaiyun.com/u012162613/article/details/44239919两篇结合着看。

聊天机器人三代：第一代可以理解为：大量的if then else then，典型的特征工程。 第二代可以理解为：对话检索，给定一个问题或者聊天，检索库中已有的答案与之最匹配。比如：小黄鸡。 第三代可以理解为：生成对话，流行的做法是seq2seq+attention，是一种神经网络模型。经过大量数据的训练，根据输入生成输出。比如：google的这篇paper A Neural Convers

已看完： TensorFlow极速入门 http://weibo.com/ttarticle/p/show?id=2309351000224074036907921465 机器学习的敲门砖：手把手教你TensorFlow初级入门 https://yq.aliyun.com/articles/64410 『深度长文』Tensorflow代码解析（一） https://mp.weixin.qq

>>> import numpy >>> import theano >>> import theano.tensor as T >>> rng = numpy.random>>> N = 400 # 训练数据的数量 400个样本 >>> feats = 784 # 特征数

见：http://deeplearning.net/software/theano/extending/graphstructures.html中文版：http://geek.youkuaiyun.com/news/detail/131362（1）图的结构Theano用图来表示符号数学运算。这些图的点包括：Apply、变量、operation和有向边。Apply代表了op对某些变量的计算【op类比成函数的定义，

没太有什么公式，从实践角度来看的，主要是skip gram 模型。 一。 1. 首先搞明白为什么要用低维实值向量表示word，而不使用one-hot来表示。 “one-hot”：将 word 转化为含有一个1，其他都是0的稀疏向量，向量的维度等于词表大小，只有对应位置上的数字为1，其他都为0。 （1）one-hot太稀疏，维度太高之后不易处理； （2）最主要的是 one-hot 捕捉不到任