Yancy的博客

一、上溢和下溢一种毁灭性的舍入误差是 下溢(underflow)。当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不 同。例如，我们通常要避免被零除(一些软件环境将在这种情况下抛出异常，有些会返回一个非数字 (not-a-number, NaN) 的占位符，比如python和MATLAB中)或避免取零的对数(这通常被视为 −∞，进一步的算术运算会使...

机器学习的算法经常会涉及到在非常多的随机变量上的概率分布。通常，这些概率分布涉及到的直接相互作用都是介于非常少的变量之间的。使用单个函数来描述整个联合概率分布是非常低效的 (无论是计算上还是统计上)。我们可以把概率分布分解成许多因子的乘积形式，而不是使用单一的函数来表示概率分布。例如，假设我们有三个随机变量 a, b 和 c，并且 a 影响 b 的取值，b 影响 c 的取值，但是 a 和 c ...

信息论是应用数学的一个分支，主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息，例如通过无线电传输来通信。在这种情况下，信息论告诉我们如何对消息设计最优编码以及计算消息的期望长度，这些消息是使用多种不同编码机制、从特定的概率分布上采样得到的。在机器学习中，我们也可以把信息论应用于连续型变量，此时某些消息长度的解释不再适用。信息论是电子...

一、概率分布离散型变量的概率分布可以用 概率质量函数(probability mass function, PMF) 来描述。我们通常用大写字母 P 来表示概率质量函数。通常每一个随机变量都会有 一个不同的概率质量函数，并且读者必须根据随机变量来推断所使用的 PMF，而不 是根据函数的名称来推断;例如，P(x) 通常和 P(y) 不一样。概率质量函数将随机变量能够取得的每个状态映射到随机变...

【摘自Ian Goodfellow 《DEEP LEANRNING》一书。觉得写得挺清楚，保存下来学习参考使用。】主成分分析(principal components analysis, PCA)是一个简单的机器学习算法，可以通过基础的线性代数知识推导。假设在n维的R空间中我们有 m 个点 {x(1), . . . , x(m)}，我们希望对这些点进行有损 压缩。有损压缩表示我们使用更少的...

迹运算返回的是矩阵对角元素的和:若不使用求和符号，有些矩阵运算很难描述，而通过矩 阵乘法和迹运算符号可以清楚地表示。例如，迹运算提供了另一种描述矩阵Frobenius范数的方式:用迹运算表示表达式，我们可以使用很多有用的等式巧妙地处理表达式。例如迹运算在转置运算下是不变的:多个矩阵相乘得到的方阵的迹，和将这些矩阵中的最后一个挪到最前面之后相乘的迹是相同的。当然，我们需要考虑...

注意，范数有很多种，它是根据性质来定义的。满足下面三条性质的都可以称为范数：那么，范数用来干嘛的？上面三个性质，非常像中学向量的模长的定义。二维、三维向量模长也符合上面3个条件，所以也可以叫做范数。所以，其实引入“范数”就是为了得到一种线性空间中的向量“大小”的度量、或两个向量之间的“接近”程度的比较。常用的范数有：L1范数、L2范数和无穷范数（最大范数）。范数的英文：norm，了...

上一篇博文讲到：《方程AX=b的解的讨论（特解、通解、零空间向量等概念）及其MATLAB实现》，程序中用到的是mldivide或者A\b的方法（二者相同）来解方程。但实际上运行过程中我们会遇到：当AX=b线性方程组是一个病态方程组；或者A是奇异矩阵（即det(A)=0，不可逆），没法求逆，用不了inv(A)方法只能用A\b，此时MATLAB会报错“矩阵接近奇异值，或者缩放错误。结果可能不准确”...

求矩阵形式线代方程组，讨论AX=b的解是最基本的一项内容。AX=b的解 = 特解 + 矩阵零空间向量特解：AX=b的自由变量都=0时x的解。矩阵零空间向量：AX=0时x的解空间。矩阵零空间向量又牵扯到了零空间的概念，就不赘述了。我们可以简单记为：X = X* + 零空间向量：关于可解性：通解、特解：对上述例子，写了个简单的MATLAB程序，用以求AX...