Tonywu2018的博客

绪论在开始之前，先大致说明下机器学习中的一些大的概念及分类。机器学习中的学习算法很多，包括线性回归、逻辑回归、随机森林、决策树、聚类、贝叶斯等等。但是这些学习算法可以归为两类，即监督学习(supervised learning)和非监督学习(unsupervised learning)；如果更加细分的话还有半监督学习。那么监督学习和非监督学习有什么区别呢，所谓的监督学习就是学习中有训练...

最近在学习数据降维的一些方法(有关数据降维的其他内容请看这篇文章)，虽然独立成分分析不算是严格意义上的降维方法，但是它和PCA有着千丝万缕的联系，所以打算专门写一篇文章来学习ICA的相关知识，看了挺多的关于ICA的博文，有些文章讲的比较详细。有句话是这么说的：“论文是详细版的知识讲解”，也就是说如果想深入详细的了解某个知识，那么去读相关论文，所以阅读了一篇经典的ICA论文，作者是A. Hyva¨r...

在机器学习和统计学领域，降维是指在某些限定条件下，降低随机变量个数，得到一组“不相关”主变量的过程。对数据进行降维一方面可以节省计算机的储存空间，另一方面可以剔除数据中的噪声并提高机器学习算法的性能。(实际上通过降维还可以实现数据可视化，但是前提是将原始数据降到2D或者3D才可以)。数据降维的根本：降低数据维度、降维后的数据能尽可能的代表原始数据。数据降维和特征选择是存在差异的，二者最终的...

隐马尔科夫模型(Hidden Markov Model,HMM)是离散状态的动态模型，用于对时间序列的分析研究，HMM属于生成模型在语音识别等领域有着广泛的应用。目录1.隐马尔可夫模型的基本概念1.1 隐马尔科夫模型定义及三要素1.1.1 HMM定义1.1.2 HMM三要素1.2隐马尔可夫模型的3个基本问题2.求值问题2.1 直接求值法2.2 前向算法2.3...

EM算法是一种迭代算法，用于含有隐变量(hidden variable)或缺失数据(incomplete-data)的概率模型参数的极大似然估计。EM算法被广泛用于高斯混合模型(Guassian Mixture Model,GMM)和隐马尔可夫模型(Hidden Markov Model,HMM)的参数估计。每次迭代分为两步：E步，求期望；M步，求极大。概率模型有时既包含观测变量(observab...

由于时间原因，一直没有写前世今生中的今生部分的文字说明，只是把王博士的PPT摆上来了，今天把这一部分的文字说明部分补充一下，还是说明一下，我没有深入接触过语音识别技术的原理及实现，文字说明部分是我结合王博士的讲解以及我自己的一些理解写的，如果有什么讲的不准确或者不正确的地方，希望大家多多包涵，并欢迎大家指正。接下来，我们开始正式的文字讲解部分。目录1.前馈神经网络1.1Tandem结构...

最近在做脑磁图的信号处理方面的工作，在网上查阅信号处理相关工作的资料时，看到了CMU的王赟博士关于语音识别技术的介绍，个人感觉讲的很精彩，同时，语音识别技术已经渗入到我们生活的方方面面，抱着学习者的心态，把王博士关于语音识别技术的讲解写一篇文章，文章主要是根据王博士的PPT和我自己的一些理解组成，我个人并不是做语音识别方向，所以难免会有些理解不到位或者不准确的地方，如果有什么错误，希望大家指正。下...

在机器学习中有很多模型和算法是和树结构相关的，比如决策树(ID3、C4.5、CART)、随机森林(Random Forest)、Adaboost、GBDT、xgboost。在这些模型算法中决策树是最基础的，顾名思义，决策树是基于树结构来进行决策的，它具有可读性高、分类速度快等优点。决策树既可以用来做回归(CART,分类回归树)也可以用来做分类(ID3、C4.5、CART)。决策树学习算法主要包括三...

最近看了一些关于kNN(k近邻算法)的资料，本篇文章就当做一篇学习笔记来记录下我对kNN算法的理解。目录1、kNN算法的概念2、距离度量2.1 欧氏距离2.2 余弦距离2.3 曼哈顿距离2.4 汉明距离2.5 标准化的欧氏距离2.6 马氏距离3、k值的选择4、k-d树4.1 k-d树的建立4.2 k-d树上的最邻近搜索5、kNN的优缺点及改...

梯度是机器学习领域中一个非常常用且重要的一个数学概念，但是一直不是特别理解深层含义，于是查阅资料，对梯度进行一个总结说明。我们在高数中都学过梯度的定义：设函数在平面区域D内具有一阶连续偏导数，则对每一点都可以定出一个向量称为在P点处的梯度，记作。从定义中我们可以得到以下信息：1、梯度是矢量 2、梯度的模与函数在点处的偏导数有关。不难想象，函数在几何空间中实际上对应的是三维空...

奇异值分解在机器学习中应用广泛，其中在PCA、LDA以及推荐系统中发挥着很大的作用，所谓的奇异值分解就是将一个复杂的矩阵用更小更简单的子矩阵相乘的形式来表示。这样就会存储空间减小，从而达到数据压缩的目的。奇异值分解是将矩阵中的主要特征提取出来，当然会一定程度上损失一些信息量，但是主要信息量是可以保存的。比如我们在描述一棵树的时候，我们只需要描述树有多粗，有没有树叶，树叶是什么颜色的，树叶的形状是什...

之前写过了线性回归模型，实际上，在线性模型中，我们假设,如果存在单调可微函数，令,我们称这样的模型为''广义线性模型''(generalized linear model)。称为‘联系函数’(link function)。我们知道回归模型产生的预测值是实值，如果我们用回归模型来处理分类问题，以二分类为例，那么输出类标为，想要达到分类的效果，我们就需要设定一个阈值，比如我们设定阈值为0，当输出大于0...

1、最大熵模型最大熵原理是概率学习的一个准则。最大熵原理认为，在学习概率模型时，在所有可能的概率模型(分布)中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合。所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型，而这个熵最大的模型称为最大熵模型。最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是“...