笔记

线性回归解法：梯度下降及正规方程回归问题回归问题（regression）是属于机器学习里面监督学习（supervised learning）的部分，它利用已标记好数据去学习得到一个假设函数（又称目标函数），并用来预测新的测试数据结果。如果预测的数据是连续出现我们称为线性回归（linear regression），它也常常应用于预测一个连续值的结果的场景。而如果预测值是离散出现，我们就成...

Numpy matrices必须是2维的,但是 numpy arrays (ndarrays) 可以是多维的（1D，2D，3D····ND）. Matrix是Array的一个小的分支，包含于Array。所以matrix 拥有array的所有特性。 在numpy中matrix的主要优势是：相对简单的乘法运算符号。例如，a和b是两个matrices，那么a*b，就是矩阵积。而不用np.dot()。如...

神经网络的反向传播公式的推导前言：早该开始入坑CNN,RNN的博主总觉得要先能用python加numpy手撸一个神经网络，才能更好理解其他神经网络的原理（强迫症）。于是…这一拖就是快两月（懒），最近填坑的时候才发现以为自己很通透的反向传播过程，写起代码推起来就…。光看西瓜书觉得反向传播就是损失函数反向对每一层参数求偏导的过程。但西瓜书推导仅在三层网络上，各层参数符号定义也不统一（博主太笨）。...

前言万物皆可Embedding入坑cs224N后看完第二周和相关论文。觉得word2vec非常有意思，将一段具有上下文关系的短文(实体)词语学习嵌入到语义空间成为一个向量，然后判断两个词语（实体）的相关性。又发现有造好的轮子gensim，何不先做一些简单又有意思的实验，再深入的学习。本来想爬豆瓣用户历史记录，用word2Vec做一个推荐，但最近进入考期,预习刷网课要紧。先埋个伏笔，以后有时间......

前言：写Tensorflow实验发现，使用Relu激活函数的模型笔Sigmoid要优化速度快，并且结果更好一点。找了几个很好的解释，收藏呢！1,2,3，感谢他们付出。总结就是：以后激活函数都用Relu。正文下面正文内容转自博客 ReLU为什么比Sigmoid效果好 附：双曲函数类似于常见的(也叫圆函数的)三角函数。基本双曲函数是双曲正弦"sinh"，双曲余弦...

前言论文地址PosterAbstract这篇论文里，作者介绍了一个适用于推理两个实体关系的神经网络（Neural Tensor Network）.相比之前的工作要么将实体表示成离散的最小单元或者是单个的实体向量，而这篇论文实验表明当实体被表现成他们词向量的平均值时实验的效果会提升。最后，论文证明当这些词向量通过大量非监督学习的语料学习结果作为参数的初始化值，对于预测知识库里两个实体是否有关...