aihali的专栏

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十八课时：正定矩阵和最小值本讲学习正定矩阵positive definite matrices，这个主题把整门课的知识融为一体，主元，行列式，特征值，不稳定性，新表达式xTAx。目标是：怎么判断一个矩阵是否是正定矩阵，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十四课时：正交向量与子空间本文讲解什么是向量的正交，什么是子空间的正交，什么是基的正交。记住上图，四个子空间两两正交。正交向量在n维空间中，向量之间的夹角是90

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十七课时：正交矩阵和Gram-Schmidt正交化这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵一组基里的向量，任意q都和其他q正交，两两垂直，内积为零，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十二课时：基变换和图像压缩本讲关于基变换，从一组基变换到另外一组基，这在应用中比较常见，还会讲有关应用信号压缩，图像压缩。主题仍是线性变换与矩阵关联。图像压缩——傅里叶变换压缩包括无损压

以下内容主要基于《Latent Dirichlet Allocation》,JMLR-2003一文，另加入了一些自己的理解,刚开始了解，有不对的还请各位指正。 LDA-Latent Dirichlet AllocationJMLR-2003 摘要：本文讨论的LDA是对于离散数据集，如文本集，的一种生成式概率模型。LDA是一个三层的贝叶斯分层模型，将数据集中每

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第七课时：求解Ax=0：主变量、特解本课时将讲解如何计算那些向量空间中的向量，从概念定义转向算法，求解Ax=0的算法是怎样的，即零空间。消元法解Ax=0消元过程中，从一个方程中减去另一个方程

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十七课时：复数矩阵和快速傅里叶变换本讲学习有关复数的相关问题。当特征值为复数时，特征向量也变为复数。如何求两个复向量的内积。一个重要的复矩阵的例子就是傅里叶矩阵。 还将介绍傅里叶变换，简称FFT，在计算机里常用，特

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十五课时：线性代数全总结本节是Gilbert Strang主讲的线性代数导论最后一讲，我想我会想念这位伟大的教授的！任何科学都离不开数学，对计算机科学尤其如此，数据挖掘，机器学习都要以线性代数为

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十课时：四个基本子空间Am×n，列空间C(A)，零空间N(A)，行空间C(AT)，A转置的零空间（通常叫左零空间），线性代数的核心内容，研究这四个基本子空间及其关系零空间N(A)n维向量，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十一课时：矩阵空间、秩1矩阵和小世界图矩阵空间矩阵空间，可看着是新的向量空间，比如3×3的矩阵，它们加法或数乘都停留在3×3矩阵空间，3×3矩阵有一些子空间：3×3对称矩阵的子空间（两个对称矩阵相

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十课时：奇异值分解本讲讲奇异值分解SVD=Singular Value Decomposition，这是矩阵最终和最好的分解。任意矩阵A=UΣVT，分解的因子是正交矩阵，对角矩阵，正交矩阵。正定

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十九课时：相似矩阵和若尔当形本讲介绍相似矩阵，两个矩阵相似意味着什么。正定矩阵回顾上讲内容，正定矩阵有xTAx>0，也可直接通过特征值，主元或者行列式来做判断。假设A是一个正定矩

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十一课时：线性变换与对应矩阵本讲从线性变换这一概念出发，每个线性变换都对应于一个矩阵。矩阵变换的背后正是线性变换的概念。理解线性变换的方法就是确定它背后的矩阵，这是线性变换的本质通过线性变换来描

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十三课时：第三阶段总结复习本讲梳理知识要点：1）特征值与特征向量Ax=λx；2）微分方程；3）对称矩阵A=AT的特征值是实数，总存在足够的特征向量特征值使它可以对角化：A=QΛQT；4）正定矩阵是特征值均为正的对称矩阵

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第三十四课时：左右逆和伪逆本讲的主题是左右逆，伪逆，当然也包括以前的内容，四个基本子空间。Am×n，m行n列1）矩阵可逆：即两边逆，AA-1 = I = A-1A ，

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十五课时：子空间投影教授说要让这讲名垂青史，想必此讲是重中之重吧。讲投影。怎样投影，为什么要投影到其他子空间。从一个简单例子看：向量b到向量a的最短距离，b在a上的投影是p，a垂直于e，e

1、背景 在概率论和统计学中，二项分布是n个独立的[是/非]试验中成功的次数的离散概率分布，其中每次试验的成功概率为p。举两个例子就很容易理解二项分布的含义了：抛一次硬币出现正面的概率是0.5(p)，抛10(n)次硬币，出现k次正面的概率。掷一次骰子出现六点的概率是1/6，投掷6次骰子出现k次六点的概率。在上面的两个例子中，每次抛硬币或者掷骰子都和上次的

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第八课时：求解Ax=b：可解性和解的结构本课时的目标是Ax=b，可能有解，也可能无解，需要通过需要消元才知道，有解的话是唯一解还是很多解。继续用上课时的例子。注意到，方程组中，第三行

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十三课时：微分方程和exp(At)本文涉及微分方程，如何解一阶方程，一阶导数，常系数线性方程，可以将他们转化为线性代数的问题，关键思路是：常系数线性方程的解是指数形式的，如果在找一个指数形式的解，找出指数是多少，系

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十五课时：第二阶段总结本讲是对前阶段的复习课。主要内容有正交性QTQ=I；计算到线和子空间的投影，用来解决Ax=b的问题；格拉姆-施密特正交化将无关的向量投影到另一向量，将获得的向量投影从向量中减去，新得到向量和之

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第十八课时：行列式及其性质 determinants关于方阵的行列式，需要行列式的重要原因是求特征值。每个方阵都有与其相关的行列式值detA，或者|A|，一个行列式的值把尽可能的信息包含在里头。行列式非零等价于矩阵可逆

本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html  第二十课时：克莱姆法则、逆矩阵、体积本文介绍行列式的应用，行列式用一个数值就包含所有信息。先回顾上讲的内容：行列式的代数余子式表达式：求逆矩阵公式A的求逆矩阵公式

白噪声，是一种功率谱密度为常数的随机信号或随机过程。即，此信号在各个频段上的功率是一样的。由于白光是由各种频率（颜色）的单色光混合而成，因而此信号的这种具有平坦功率谱的性质被称作是“白色的”，此信号也因此被称作白噪声。相对的，其他不具有这一性质的噪声信号被称为有色噪声。    理想的白噪声具有无限带宽，因而其能量是无限大，这在现实世界是不可能存在的。实际上，我们常常将有限带宽的平整信号视为

偏相关分析是指当两个变量同时与第三个变量相关时，将第三个变量的影响剔除，只分析另外两个变量之间相关程度的过程。p值是针对原假设H0：假设两变量无线性相关而言的。一般假设检验的显著性水平为0.05，你只需要拿p值和0.05进行比较：如果p值小于0.05，就拒绝原假设H0，说明两变量有线性相关的关系，他们无线性相关的可能性小于0.05；如果大于0.05，则一般认为无线性相关关系，至于相关的程度

摘要：最新的《Nature》杂志专门为“人工智能 + 机器人”开辟了一个专题 ，发表多篇相关论文，其中包括了LeCun、Bengio和Hinton首次合作的这篇综述文章“Deep Learning”。本文为该综述文章中文译文的上半部分。【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年

编程语言：搞实验个人认为当然matlab最灵活了（但是正版很贵），但是更为前途的是python（numpy+scipy+matplotlib)和C/C++，这样组合既可搞研究，也可搞商业开发，易用性不比matlab差，功能组合更为强大，个人认为，当然R和java也不错.1.机器学习开源软件网（收录了各种机器学习的各种编程语言学术与商业的开源软件）http://mloss.org

在理解了我们需要解决的机器学习问题之后，我们可以思考一下我们需要收集什么数据以及我们可以用什么算法。本文我们会过一遍最流行的机器学习算法，大致了解哪些方法可用，很有帮助。机器学习领域有很多算法，然后每种算法又有很多延伸，所以对于一个特定问题，如何确定一个正确的算法是很困难的。本文中我想给你们两种方法来归纳在现实中会遇到的算法。学习方式根据如何处理经验、环境或者任何我们称之为

There has been a Machine Learning (ML) reading list of books in hacker news for a while, where Professor Michael I. Jordan recommend some books to start on ML for people who are going to devote many

在泛函分析中，卷积（捲積）、旋積、疊積或摺積，是通过两个函数f和g生成第三个函数的一种数学算子，表征函数f与经过翻转和平移的g的重叠部分的面积。如果将参加卷积的一个函数看作区间的指示函数，卷积还可以被看作是“移动平均”的推广。   卷积是分析数学中一种重要的运算。设：,是上的两个可积函数，作积分：   可以证明，关于几乎所有的，上述积分是存在的。这样，随着的不同取值，这

在统计里，两个随机变量X，Y的相关函数定义如下：也就是两个随机变量协方差除以标准差之积。如果X是一个时间的随机变量序列，将不同时间起始点的两个序列Xt和Xs看成两个随机变量，上面的相关函数则可表示为： 如果Xt是一个二阶稳态过程，即均值和方差不随时间而变化。，此时相关函数只是时间差τ=s-t的一个函数，则上式可重写为： 这就是统计学上的自

一元线形回归模型：有变量x,y。假设有关系y=c+bx+e,其中c+bx 是y随x变化的部分，e是随机误差。         可以很容易的用函数lm()求出回归参数b,c并作相应的假设检验，如：xylm.solsummary(lm.sol)仅列出部分返回结果：Residuals:  Min       1Q   Median    3

1、背景多项式分布（Multinomial Distribution）是二项式分布的推广。二项分布的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。（严格定义见伯努利实验定义）。把二项分布公式推广至多种状态，就得到了多项分布。2、多项分布某随机实验如果有k个可能结局A1、A2、…、Ak，分别将他们的出现次数记为随机变量

K-Means介绍       K-means算法是聚类分析中使用最广泛的算法之一。它把n个对象根据他们的属性分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。其聚类过程可以用下图表示：        如图所示，数据样本用圆点表示，每个簇的中心点用叉叉表示。(a)刚开始时是原始数据，杂乱无章，没有label，看起来都一样

基本概念：1. 样本空间：实验所有可能的输出的集合。2. 随机变量：随机变量是一个映射（或函数），将映射到实数集。可以分为离散型随机变量和连续型随机变量。3. pmf和pdf：pmf（probability mass function）为离散型随机变量的概率分布，定义为，有是也写成f(x)；对于连续型随机变量，则p称为pdf（probability density fu

一 问题来源：看PRML第二章时遇到的。二 问题描述：PRML第68页说：“We shall see that an import role is played by conjugate priors, that lead to posterior distributions having the same functional form as the prior , and

以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。1、最大似然估计

一、数据平稳性李子奈曾指出，一些非平稳的经济时间序列往往表现出共同的变化趋势，而这些序列间本身不一定有直接的关联，此时，对这些数据进行回归，尽管有较高的R平方，但其结果是没有任何实际意义的。这种情况称为称为虚假回归或伪回归（spurious regression）。他认为平稳的真正含义是：一个时间序列剔除了不变的均值（可视为截距）和时间趋势以后，剩余的序列为零均值，同方差，即白噪声。

背景在Machine Learning中，有一个很常见的概率分布叫做Beta Distribution：同时，你可能也见过Dirichelet Distribution：那么Beta Distribution和Dirichlet Distribution的意义何在呢？解释1. 如果给你一个硬币，投这个硬币有\theta的概率抛出Hea