a little progress every day

通常，我们会遇到很多问题无法用分析的方法来求得精确解，例如由于式子特别，真的解不出来；一般遇到这种情况，人们经常会采用一些方法去得到近似解（越逼近精确解越好，当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界，那么这种近似算法比较好，因为人们可以知道接近程度，换个说法，一般一个近似算法被提出后，人们通常都会去考察或寻求刻划近似程度的式子）。本文要谈的随机模拟就是一类近

在估计方法中，最大似然和最小二乘是经常被使用到的，其中的最小二乘更是回归的基础。楼主在刚接触最小二乘的时候曾经想过一个问题，为什么非要用平方？绝对值不行么？……很多问题萦绕脑中。最近借着做专题的时间，抽空又看了一下这个知识点，略微整理了一下分享给大家：1、什么是最小二乘思想？简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测

遗传算法是基于自然选择和自然遗传机制的一种随机搜索算法。遗传算法与传统的搜索算法不同，具有如下特点：①遗传算法不是对变量直接操作，而是对其编码进行操作：② 它是从一组点出发进行搜索，而不是从单个点开始；③ 它不需要导数等信息；④它是一种随机搜索算法。    遗传算法的主要操作有：复制、交叉、变异。复制体现了“适者生存，不适者淘汰”的自然选择机制。交叉操作使得后代能够继承父代的优良特

模糊综合评价方法--有用原文地址：模糊综合评价法作者：燕子第三章第一节 思想和原理第二节 模型和步骤第三节 应用案例选粹       模糊综合评判法在质量经济效益评价中的应用       模糊综合评价法在物流选址中的应用       第一节 思想和原理  在客观世界中存在着许多不确定性，这种不确定性表现在两个方面：一是随机性－事件是否发生的不确定性；二是模糊性－事物本身状

[pdf版本]偏最小二乘法回归.pdf1. 问题    这节我们请出最后的有关成分分析和回归的神器PLSR。PLSR感觉已经把成分分析和回归发挥到极致了，下面主要介绍其思想而非完整的教程。让我们回顾一下最早的LinearRegression的缺点：如果样例数m相比特征数n少（m（n*n矩阵）的秩小于特征个数（即不可逆）。因此最小二乘法就会失效。    为了解决这个问题，我们会使用

0 引言写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月起个人组织的算法班，而动笔继续写这个机器学习系列，正得益于今年10月组织的机器学习班。10月26日机器学习班第6次课，身为讲师之一的邹博讲最大熵模型，从熵的概念，讲到为何要最大熵、最大熵的推导，以及求解参数的IIS方法，整个过程讲得非常流

这篇文章是结合论文http://www.cqvip.com/Main/Detail.aspx?id=7707219对博文：http://www.cnblogs.com/hexinuaa/p/3353479.html加入自己的理解做了简化重写，另外本文末尾附上了最大熵模型的实现。  一个例子 我们通过一个简单的例子来了解最大熵的概念。假设现在需要做一个自动将英语到法语的翻译模型，为了方便说明，我

topic model的介绍性文章已经很多，在此仅做粗略介绍，本文假设读者已经较为熟悉Topic Medel。Topic Model （LDA）认为一个离散数据集合（如文档集合，图片集合，为行文方便，本文统统以文档集合作为描述对象，其他的数据集合只需换掉对应的术语即可）是由隐含在数据集合背后的topicset 生成的，这个set中的每一个topic都是词的概率分布。对于文档中的每一篇文档，先

原文地址：SSCI数据库收录的商学重要期刊（2009年影响因子居前20名）作者：北大经管学科馆员   2009年，Journal CitationReports（JCR）共收录商学英文期刊87种，以下是影响因子排名前20的期刊（可点击查看该期刊的具体信息）。更多期刊请在JCR中选择SubjectCategory再选择Business。 排名期刊名称ISSN2009年

转载请注明地址（http://blog.youkuaiyun.com/xinzhangyanxiang/article/details/8522078）学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。马尔科夫过程马尔科

原文地址：Random Field）">马尔可夫网络，（马尔可夫随机场、无向图模型）（Markov Random Field）作者：huahua5643   马尔可夫网络，（马尔可夫随机场、无向图模型）是关于一组有马尔可夫性质随机变量Ra" />的全联合概率分布模型。    马尔可夫网络类似贝叶斯网络用于表示依赖关系。但是，一方面它可以表示贝叶斯网络无法表示的一些依赖关系，如循环依赖；另一

1.什么是随机过程？在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链，它是马尔科夫对概率论乃至人类思想发展作出的又一伟大贡献

原文地址：N-Gram学习笔记作者：我要的飞翔统计语言模型假设一个句子S可以表示为一个序列S=w1w2…wn，语言模型就是要求句子S的概率P(S)：这个概率的计算量太大，解决问题的方法是将所有历史w1w2…wi-1按照某个规则映射到等价类S(w1w2…wi-1)，等价类的数目远远小于不同历史的数目，即假定：N-Gram模型当两个历史的最近的N-1个词（或字）相同时，映

原文地址：Model">Topic Model作者：韦阳Generative algorithms传统方法聚焦在数据当前状态的分析，而生成模型试图找到数据编程当前状态的原因。生成模型假设文本可由基于词汇表的不同概率分布的混合产生（Generativealgorithms assume documents can be represented as a mixture ofprobabili

原文地址：word2vec中关于词向量的阐述作者：kaneLee在看word2vec的时候，找到这篇对于词向量阐述的简单易懂的博文http://licstar.net/archives/328，尤其对于NNLM模型的阐述非常棒。　　0. 词向量是什么　　自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化。　　NLP 中最直观，也是到目前为止最常

原文地址：AHP层次分析法作者：中大数模1概述层次分析法，是应用网络系统理论和多目标综合评价方法的一种层次权重决策分析方法。层次分析法本质是一种决策方法，所谓决策是指在面临多种方案时需要依据一定的标准选择某一种方案，详见《运筹学》。层次分析法可应用于决策、评价、分析、预测。2层次分析法的步骤和方法运用层次分析法构造系统模型时，大体可以分为以下五个步骤：       2.1  建立

转自：http://blog.youkuaiyun.com/dongtingzhizi/article/details/15962797PDF下载地址：http://download.youkuaiyun.com/detail/lewsn2008/65474631.引言看了Stanford的Andrew Ng老师的机器学习公开课中关于LogisticRegression的讲解，然后又看了《机器学习实战》中的

信息检索和网络数据领域（WWW, SIGIR, CIKM, WSDM, ACL,EMNLP等）的论文中常用的模型和技术总结引子：对于这个领域的博士生来说，看懂论文是入行了解大家在做什么的研究基础，通常我们会去看一本书。看一本书固然是好，但是有一个很大的缺点：一本书本身自成体系，所以包含太多东西，很多内容看了，但是实际上却用不到。这虽然不能说是一种浪费，但是却没有把有限力气花在刀口上。我所

一.方向导数（1）方向导数是个数值。 二维空间情形：我们把f(x+Dx,y+Dy)-f(x,y)的值Value1与PP1的距离value2的比值的极值叫做沿PP1的方向导数。三维空间计算过程相似； 二.梯度（1）梯度是一个向量。（2）沿梯度方向的方向导数达到最大值；sxyd.sdut.edu.cn/gaoshu2/lesson/8.7fangxian

sigmoid函数是一个良好的阈值函数,连续，光滑严格单调关于(0,0.5)中心对称对阈值函数        _ 1, x > \deltaf(x)= /      \       - 0, x -\delta的良好近似其导数f'(x)=f(x)*[1-f(x)]，可以节约计算时间f(x) = 1/[1+e^(-x)].图形如上。如果x = a*r.其中a为倾

BP算法，误差反向传播（ErrorBack Propagation, BP）算法。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。 1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程

原文地址：管理类国外期刊一览表作者：Professor_CSC1)A+journal   A+期刊(排序有先后,前面的难发) MIS QuarterlyManagement ScienceOperations ResearchInformation Systems Research----------------------------------------------------

原文地址：PCA的matlab程序作者：manifoldPCA的matlab程序模式识别与图像处 2010-10-12 13:20:31 阅读67 评论0   字号：大中小 订阅程序说明：y = pca(mixedsig)，程序中mixedsig为 n*T阶混合数据矩阵，n为信号个数，T为采样点数, y为 m*T 阶主分量矩阵。程序设计步骤：1、取均值2、计算协方差矩阵

总是听到这两个术语，但是又一直不清楚它们最本质的区别。今天花了一小点时间来彻底的弄清楚了。得到的结论如下：Discriminative Model是判别模型，又可以称为条件模型，或条件概率模型。Generative Model是生成模型，又叫产生式模型。二者的本质区别是discriminative model 估计的是条件概率分布(conditionaldistribution)p(cl

原文地址：decay (权值衰减）">weight decay (权值衰减）作者：招展如桦    在机器学习或者模式识别中，会出现overfitting，而当网络逐渐overfitting时网络权值逐渐变大，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。    权值衰减惩罚项使得权值收敛到较小的

在进行文本分类时，毫无疑问会涉及到对文本数据进行预处理，包括文档切分、文本分词、去停用词（包括标点、数字、单字和其它一些无意义的词）、文本特征提取、词频统计、文本向量化等操作。下面就这几方面作一个概括性的介绍，具体的实现还有待慢慢的研究。1. 文档切分文档切分这个操作是可选的，取决于你获取到的文档集合的形式。如果你得到的文档集合本身就是一篇一篇文章分开的，那么这一步就可以省略了。反之，如果文

一、前 沿   数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。数据挖掘的任务是从数据集中发现模式，可以发现的模式有很多种，按功能可以分为两大类：预测性(Predictive)模式和描述性(Descriptive)模式。在应用中往往根据模式的实际作用细分为以下几种：分类，估值，预测，相关性分析，序列，时间序

原文地址：我理解的信息论——自信息、熵、互信息作者：小蝶信息论   信息是关于事物的运动状态和规律的认识，它可以脱离具体的事物而被摄取、传输、存贮、处理和变换。  信息论，就是用数理统计方法研究信息的基本性质以及度量方法，研究最佳解决信息的摄取、传输、存贮、处理和变换的一般规律的科学。它的成果将为人们广泛而有效地利用信息提供基本的技术方法和必要的理论基础。　　信息论的研究范围分成三种不同

我们在之前研究过两个随机变量的独立性，我们定义若两个随机变量X,Y满足P(X,Y)=P(X)P(Y)则我们说随机变量X,Y独立。下面来直观地理解这个公式，可以发现，如果X,Y独立，那么已知X，将不会对Y的分布产生任何影响，即是说P(Y)=P(Y|X)，这个结果的证明也很简单，由贝叶斯公式：P(Y|X)=P(X,Y)P(X)=P(X)P(Y)P(X)=P(Y)即证。 由此可以看出，

原文地址：余弦相似度-Java代码作者：刘_学//大三Java作业, 仅供参考,// @刘_学package cn;import java.util.ArrayList;public class CosSimilarity{public CosSimilarity(){// TODO Auto-generated constructor stub}public st

原文地址：概率图几种模型的简介和比较作者：小腹黑zju基础知识   概率图是一类用图的形式表示随机变量之间条件依赖关系的概率模型，是概率论与图论的结合。图中的节点表示随机变量，缺少边表示条件独立假设。根据图中边的有向、无向性，模型可分为两类：有向图、无向图。G(V,E)：变量关系图V：顶点or节点，表示随机变量E：边or弧两个节点邻接：两个节点之间存在边，记为Xi ~Xj ，不存

生成模型与判别模型假设有观察值序列Y=Y1,Y2,…,Yn,其对应的状态序列X=X1,X2,…,Xn,则实际上就是求出状态序列X∗,使得条件概率p(X1,X2,…,Xn|Y1,Y2,…,Yn) 最大化，