aihali的专栏

在统计里，两个随机变量X，Y的相关函数定义如下：也就是两个随机变量协方差除以标准差之积。如果X是一个时间的随机变量序列，将不同时间起始点的两个序列Xt和Xs看成两个随机变量，上面的相关函数则可表示为： 如果Xt是一个二阶稳态过程，即均值和方差不随时间而变化。，此时相关函数只是时间差τ=s-t的一个函数，则上式可重写为： 这就是统计学上的自

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十四课时：左右逆和伪逆本讲的主题是左右逆，伪逆，当然也包括以前的内容，四个基本子空间。Am×n，m行n列1）矩阵可逆：即两边逆，AA-1 = I = A-1A ，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十一课时：线性变换与对应矩阵本讲从线性变换这一概念出发，每个线性变换都对应于一个矩阵。矩阵变换的背后正是线性变换的概念。理解线性变换的方法就是确定它背后的矩阵，这是线性变换的本质通过线性变换来描

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十课时：奇异值分解本讲讲奇异值分解SVD=Singular Value Decomposition，这是矩阵最终和最好的分解。任意矩阵A=UΣVT，分解的因子是正交矩阵，对角矩阵，正交矩阵。正定

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十八课时：正定矩阵和最小值本讲学习正定矩阵positive definite matrices，这个主题把整门课的知识融为一体，主元，行列式，特征值，不稳定性，新表达式xTAx。目标是：怎么判断一个矩阵是否是正定矩阵，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十五课时：第二阶段总结本讲是对前阶段的复习课。主要内容有正交性QTQ=I；计算到线和子空间的投影，用来解决Ax=b的问题；格拉姆-施密特正交化将无关的向量投影到另一向量，将获得的向量投影从向量中减去，新得到向量和之

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十三课时：微分方程和exp(At)本文涉及微分方程，如何解一阶方程，一阶导数，常系数线性方程，可以将他们转化为线性代数的问题，关键思路是：常系数线性方程的解是指数形式的，如果在找一个指数形式的解，找出指数是多少，系

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十七课时：正交矩阵和Gram-Schmidt正交化这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵一组基里的向量，任意q都和其他q正交，两两垂直，内积为零，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十课时：四个基本子空间Am×n，列空间C(A)，零空间N(A)，行空间C(AT)，A转置的零空间（通常叫左零空间），线性代数的核心内容，研究这四个基本子空间及其关系零空间N(A)n维向量，

以下内容主要基于《Latent Dirichlet Allocation》,JMLR-2003一文，另加入了一些自己的理解,刚开始了解，有不对的还请各位指正。 LDA-Latent Dirichlet AllocationJMLR-2003 摘要：本文讨论的LDA是对于离散数据集，如文本集，的一种生成式概率模型。LDA是一个三层的贝叶斯分层模型，将数据集中每

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十三课时：第三阶段总结复习本讲梳理知识要点：1）特征值与特征向量Ax=λx；2）微分方程；3）对称矩阵A=AT的特征值是实数，总存在足够的特征向量特征值使它可以对角化：A=QΛQT；4）正定矩阵是特征值均为正的对称矩阵

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十课时：克莱姆法则、逆矩阵、体积本文介绍行列式的应用，行列式用一个数值就包含所有信息。先回顾上讲的内容：行列式的代数余子式表达式：求逆矩阵公式A的求逆矩阵公式

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十七课时：复数矩阵和快速傅里叶变换本讲学习有关复数的相关问题。当特征值为复数时，特征向量也变为复数。如何求两个复向量的内积。一个重要的复矩阵的例子就是傅里叶矩阵。 还将介绍傅里叶变换，简称FFT，在计算机里常用，特

一 问题来源：看PRML第二章时遇到的。二 问题描述：PRML第68页说：“We shall see that an import role is played by conjugate priors, that lead to posterior distributions having the same functional form as the prior , and

基本概念：1. 样本空间：实验所有可能的输出的集合。2. 随机变量：随机变量是一个映射（或函数），将映射到实数集。可以分为离散型随机变量和连续型随机变量。3. pmf和pdf：pmf（probability mass function）为离散型随机变量的概率分布，定义为，有是也写成f(x)；对于连续型随机变量，则p称为pdf（probability density fu

偏相关分析是指当两个变量同时与第三个变量相关时，将第三个变量的影响剔除，只分析另外两个变量之间相关程度的过程。p值是针对原假设H0：假设两变量无线性相关而言的。一般假设检验的显著性水平为0.05，你只需要拿p值和0.05进行比较：如果p值小于0.05，就拒绝原假设H0，说明两变量有线性相关的关系，他们无线性相关的可能性小于0.05；如果大于0.05，则一般认为无线性相关关系，至于相关的程度

数学上，柯西-施瓦茨不等式，又称施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式，是一条很多场合都用得上的不等式；例如线性代数的矢量，数学分析的无穷级数和乘积的积分，和概率论的方差和协方差。它被认为是最重要的数学不等式之一。它有一些推广，如赫尔德不等式。

在泛函分析中，卷积（捲積）、旋積、疊積或摺積，是通过两个函数f和g生成第三个函数的一种数学算子，表征函数f与经过翻转和平移的g的重叠部分的面积。如果将参加卷积的一个函数看作区间的指示函数，卷积还可以被看作是“移动平均”的推广。   卷积是分析数学中一种重要的运算。设：,是上的两个可积函数，作积分：   可以证明，关于几乎所有的，上述积分是存在的。这样，随着的不同取值，这

在回归分析中，测定值与按回归方程预测的值之差，以δ表示。残差δ遵从正态分布N(0，σ2)。δ与σ之比，称为标准化残差，以δ*表示。δ*遵从标准正态分布N(0，1)。实验点的标准化残差落在(-2，2)区间以外的概率≤0.05。若某一实验点的标准化残差落在(-2，2)区间以外，可在95％置信度将其判为异常实验点，不参与回归线拟合。

属于傅里叶级数分析使用的条件：傅里叶在提出傅里叶级数时坚持认为，任何一个周期信号都可以展开成傅里叶级数，虽然这个结论在当时引起许多争议，但持异议者却不能给出有力的不同论据。直到20年后(1829年)狄里赫利才对这个问题作出了令人信服的回答，狄里赫利认为，只有在满足一定条件时，周期信号才能展开成傅里叶级数。这个条件被称为狄里赫利条件，其内容为(1) 函数在任意有限区间内连续，或只有有

在数学中，狄拉克δ函数（Dirac Delta function）是在实直线上定义的，除了零以外的点都等于零，而其在整个定义域上的积分等于1 的广义函数或分布。有时认为δ函数是原点处的一个无限高、无限细，总面积为1的尖峰，物理上代表了理想化的质点或点电荷的密度。它是由理论物理学家保罗·狄拉克引入的。在信号处理中它往往被称为单位脉冲函数 。克罗内克δ函数是其离散的模拟，通常定义在有限域且只有0和

自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Component Analysis，简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识~PCA的缘

背景在Machine Learning中，有一个很常见的概率分布叫做Beta Distribution：同时，你可能也见过Dirichelet Distribution：那么Beta Distribution和Dirichlet Distribution的意义何在呢？解释1. 如果给你一个硬币，投这个硬币有\theta的概率抛出Hea

一、数据平稳性李子奈曾指出，一些非平稳的经济时间序列往往表现出共同的变化趋势，而这些序列间本身不一定有直接的关联，此时，对这些数据进行回归，尽管有较高的R平方，但其结果是没有任何实际意义的。这种情况称为称为虚假回归或伪回归（spurious regression）。他认为平稳的真正含义是：一个时间序列剔除了不变的均值（可视为截距）和时间趋势以后，剩余的序列为零均值，同方差，即白噪声。

1、背景多项式分布（Multinomial Distribution）是二项式分布的推广。二项分布的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。（严格定义见伯努利实验定义）。把二项分布公式推广至多种状态，就得到了多项分布。2、多项分布某随机实验如果有k个可能结局A1、A2、…、Ak，分别将他们的出现次数记为随机变量

以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。1、最大似然估计

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十二课时：对角化和A的幂Ax=λx,特征值、特征向量的应用以及为什么需要特征值和特征向量。对角化 S-1AS=Λ假设A有n个线性无关的特征向量（大前提），将他们按列组成矩阵S，S为特征向

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十一课时：特征值和特征向量对方阵的特征值和特征向量做讲解，矩阵的特征值和特征向量会反映出矩阵的重要信息，后面的课将讲解特征值和特征向量的应用以及为什么需要特征值和特征向量。特征向量和特征值概念

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十九课时：行列式公式和代数余子式本讲目的是找出行列式的求解公式，代数余子式的概念。对于2×2的方阵，利用三大性质，特别是线性性质可得到推导方法，这种方法是一次取一行进行变换。对于3

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第七课时：求解Ax=0：主变量、特解本课时将讲解如何计算那些向量空间中的向量，从概念定义转向算法，求解Ax=0的算法是怎样的，即零空间。消元法解Ax=0消元过程中，从一个方程中减去另一个方程

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第六课时：列空间和零空间特别关注矩阵的列空间和零空间回忆什么是向量空间：就是一些向量，对一些运算封闭，空间内任何向量相加（加法），结果仍在空间内，或用空间内任意向量乘以常数（数乘），结果仍在空间内，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html第一课时：方程组的几何解释一、线性方程组的两种理解方式：行图像和列图像对于方程组：我们可以表示成矩阵形式： 系数矩阵A，未知数向量x，右侧向量为b，则可写成 Ax=b

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html 第五课时：转置-置换-向量空间R本课时讲解转置和置换，然后讲解线性代数的核心概念：向量空间。核心思想是，通过某些向量构成一个向量组成的空间。这些向量属于R^n，构成的子空间也在R^n中。一、置换矩阵P

1、什么是聚类Clustering 中文翻译作“聚类”，简单地说就是把相似的东西分到一组，同 Classification (分类)不同，对于一个 classifier ，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised

第一次看见Python的运行感觉就让我想起了matlab，于是就上网嗖嗖他在矩阵方面的运算如何，如果不想安装Matlab那么大的软件，而你又只是想计算些矩阵，python绝对够用！尤其在Linux下太方便了Python使用NumPy包完成了对N-维数组的快速便捷操作。使用这个包，需要导入numpy。SciPy包以NumPy包为基础，大大的扩展了numpy的能力。为了使用的方便，scipy包在最

前言         朴素贝叶斯（NaïveBayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先是基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯方法实现简单，学习与预测的效率都很高，是一种常用的方法。1.1朴素贝叶斯的学习与分类1.1.1基本方法

作者：Cashcow星期三, 五月 28, 2014动态, 大数据暂无评论现在大数据成为一个热门话题， 然而无论是网页， 产品信息， 车辆的功能， 文本， 病例还是气象等数据， 对数据的理解的第一步就是要理解数据之间的关联。利用图论， 我们将能够进一步提高我们对数据的理解能力，同时构建和分析图论模型将使得我们能够自动获取答案。本文我们将以搜索引擎为例介绍图论

这几天由于用到矩阵求导相关的知识，但是自己没有学过矩阵论(研究生选课的时候，导师没有让选)，于是百度了下，觉得完整的相关资料不多，还好发现了下面的这篇博客，给我了很大的帮助！ 仔细分析了下博客中的内容，其实矩阵求导也是挺好理解的(估计是我有较好的MATLAB使用基础吧)，下面看帖吧，哈哈！！ 矩阵求导 属于 矩阵计算，应该查找 Matrix Calculus 的文献

原文作者：David Austin原文链接： http://www.ams.org/samplings/feature-column/fcarc-svd译者：richardsun(孙振龙)在这篇文章中，我们以几何的视角去观察矩阵奇异值分解的过程，并且列举一些奇异值分解的应用。介绍矩阵奇异值分解是本科数学课程中的必学部分，但往往被大家忽略。这个分解除了很直观，更重要的