Raki_J的博客

奇异值分解是一种矩阵因子分解方法，是线性代数的基础概念，在统计学习中被广泛运用，PCA, LSA,pLSA都要用到SVD，而EM,LSA,MCMC,又是LDA的基础，故有了这个笔记顺序任意一个 m * n矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别是m阶正交矩阵，由降序排列的非负的对角线元素组成的m * n 矩形对角矩阵 ，n阶正交矩阵成为该矩阵的奇异值分解，矩阵的奇异值分解一定存在但是不唯一。奇异值分解可以看做是矩阵数据压缩的一种方法，即用因子分解的方式近似表示原始矩阵，这种近似是在平方

为了完成nlp-beginner任务4，所以先复习一下CRF大佬们写的CRF博客我只推荐这一篇：如何轻松愉快地理解条件随机场（CRF）？

之前对EM一直没有一个直观的理解，只知道可以用来求解含隐变量的参数估计，但是一直不懂Q函数是什么，E步M步是什么，为什么这样，昨天在知乎上看了几篇EM的blog，对EM的理解有了很大的进步，算是入了个门【机器学习】EM——期望最大（非常详细）人人都懂EM算法怎么通俗易懂地解释EM算法并且举个例子? 首先我们要清楚一点，EM不是一个具体的模型而是一种算法EM 算法的核心思想非常简单，分为两步：Expection-Step 和 Maximization-Step。E-Step 主要通过观察数据和

决策树（decision tree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。这些决策树学习的思想主要来源于由Quinlan

朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入xxx，利用贝叶斯定理求出后验概率最大的输出yyy。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。模型朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)P(X,Y)P(X,Y),具体地，学习以下先验概率分布及条件概率分布先验概率分布：P(Y=ck),k=1,2,...,K\begin{alig

k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。本书只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显式的学习过程。k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。k近邻法

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和–1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的输入实例进行分类。感知机1957年由Rosenblatt提出，是神经网

统计学习关于数据的基本假设是同类数据具有一定的统计规律，这是统计学习的前提统计学习的分类监督学习监督学习是指从标注数据中学习预测模型的机器学习问题。监督学习的本质是学习输入到输出的映射的统计规律在监督学习中，将输入和输出看做是定义在输入特征空间与输出空间上的随机变量的取值监督学习假设输入与输出的随机变量 XXX 和 YYY 遵循联合概率分布 P(X,Y)P(X,Y)P(X,Y)，P(X,Y)P(X,Y)P(X,Y)表示分布函数或者分布密度函数，XXX 和 YYY 具有联合概率分布是监督学习关于数据