redfivehit的专栏

出处：http://blog.youkuaiyun.com/nanjunxiao/article/details/8976195学习排序（Learning to Rank）LTR（Learning torank）学习排序是一种监督学习（SupervisedLearning）的排序方法。LTR已经被广泛应用到文本挖掘的很多领域，比如IR中排序返回的文档，推荐系统中的候选产品、用户排序，机器翻译中排序候选翻译结果等等。IR领域传统的排序方法一般通过构造相关度函数，然后按照相关度进行排序。影响相关度...

生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生...

食堂的大师傅炒了一份菜，要等分成两份给两个人吃——显然没有必要拿来天平一点一点的精确的去称分量，最简单的办法是先随意的把菜分到两个碗中，然后观察是否一样多，把比较多的那一份取出一点放到另一个碗中，这个过程一直迭代地执行下去，直到大家看不出两个碗所容纳的菜有什么分量上的不同为止EM算法就是这样，假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信

http://blog.youkuaiyun.com/u012759136/article/details/52434826前言(呕血制作啊！)前几天刚好做了个图像语义分割的汇报，把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦，方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构，毕竟这方面还是有挺多的结构方法了。介绍图像语义分割，

sigmoid曲线。　sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　logistic曲线如下： 　　wiki百科对softmax函数的

LR的推理这里不说了，自己查查吧。结论是weight = weight + alpha * weight的偏导数 =  weight + alpha * （y- sigmoid（wTx））*x，代码中就是这么实现的data = load('data1.txt');[row , col] = size(data);dataMat = data(:,1:col-1)

http://www.cnblogs.com/guyj/p/3800519.html这个讲解的比较清晰1. 两类Logistic回归Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分类的概率信息。不妨设有nn个训练样本{x1,...,xn}{x1,...,xn}，xixi是dd维向量，其类别标签是{y1,...,yn}{y1,.

coex=[1 2 3 4 5 6 7 8 9 10];coey=[2 4 5 7 9 11 13.5 16.2 18.2 20.2];a=2;b=2;theta=0.01;for idx=1:100000 [m,n,tt] = function1(coex,coey,a,b,theta); a=m; b=n; fprintf('%d: a:%f,

跑了下mnist训练，和使用训练好的模型进行预测两个文件都在examples/mnist 中, lenet_train_test.prototxt 文件是设置train、test的网络，deploy文件是分类测试加载的文件。大体区别思路是网络配置文件会规定的详细一些，deploy文件只是告诉分类程序（mnist_classification.bin）网络结构是怎么样的，不需要反向计算，不需

最近再次学习caffe框架，看了一些原网站英文内容，了解了更多的细节后来想安装caffe试试，公司刚迁移了开发机，新开发机上使用简单的命令下载不成功，出错，就研究了下sudo git clone https://github.com/BVLC/caffe.git显示错误0D0890A1:asn1 encoding routines:ASN1_verify:unknown m

转载，这个讲解比较清晰，看完就知道CNN、BP算法反向是怎么从倒数第二层计算各层的残差 和net的 w、b 参数的，算完整个网络的链接权值、参数就更新了一遍，经过N此迭代，最终的结果达到一定的程度，就可以停止了，使用当时计算好的权值，也就是网络就可以预测了http://blog.youkuaiyun.com/hungryof/article/details/50436231首先

决策树，包括特征选择，生产树，树的剪枝分别讲了ID3  C4.5   CART生成树挑选特征时，每次使用信息增益降低最快的特征，进行分叉。概率情况下熵描述为，G=-PlogP，简述：假设训练集D，根据年龄、工作年限确定是否给予贷款，共15个样本，是9个，否6个。那么训练集的的熵G(D) =-（9/15*log（9/15） + 6/15log（6/15））如果年龄A小于20的

1. 损失函数期望，就是均值极大似然估计（似然就是概率、可能性，所以也是极大可能性估计）对数损失是用于最大似然估计的。一组参数在一堆数据下的似然值，等于每一条数据的概率之积。而损失函数一般是每条数据的损失之和，为了把积变为和，就取了对数。再加个负号是为了让最大似然值和最小损失对应起来||w||是w的L2范数，w是个向量，L2范数是每个子项

概念感知机是二分类模型，输入实例的特征向量，输出实例的±类别。感知机模型定义假设输入空间是，输出空间是，x和y分属这两个空间，那么由输入空间到输出空间的如下函数：称为感知机。其中，w和b称为感知机模型参数，叫做权值或权值向量，叫做偏置，w·x表示向量w和x的内积。sign是一个函数：感知机的几何解释是，线性方程将特

Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和structure-preserving (结构保存，比如在X所属的空间上X1 通俗的翻译可以认为是单词嵌入，就是把X所属空间的单词映射为到Y空间的多维向量，那么该多维向量相当于嵌入到Y所属空间中，一

由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。1. Vision Layers1.1 卷积层(Convolution)类型：CONVOLUTION例子layers { name: "conv1" type: CONVOLUTION bottom: "data"

Deep learning：四十一(Dropout简单理解) 　　前言　　训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中