小9的专栏

积分例题

参数估计随机变量X属于某种分布，这样的分布是可以用概率函数表示出来的p(X=x)=f(x)p(X=x)=f(x)也就是说，要计算一个具体的x的概率，只需将x作为函数f的输入求值即可。常见的分布的概率函数有：两点分布：f(x)=px(1−p)(1−x)f(x)=p^x(1-p)^{(1-x)}，p又是什么呢，这里很容易引起混淆，它是x=1的概率，注意f(x)并不等于1，它是x取某

伯努利0-1分布事件A在某次试验中发生的概率稳定计为pp，但A要么发生要么不发生，随机变量XX，单次试验中A发生记为1，没有发生记为0，则P(X=1)=p,P(X=0)=1−pP(X=1)=p,P(X=0)=1-p，也可以统一成这个公式： f(x|p)=px(1−p)1−x,x=0,1f(x|p)=p^x(1-p)^{1-x},x=0,1期望 方差期望：E(X)=∑x∗p(x)=

PCA原理及实现

均值如果有一个包含 n 个值的样本 xi， 那么它们的均值 μ 就等于这些值的 总和除以值的数量， 即： μ=1n∑xi\mu = \frac{1}{n}\sum x_{i}方差均值是为了描述集中趋势， 而方差则是描述分散情况。 一组值的方差 等于： σ2=1n∑i(xi−μ)2\sigma ^{2}=\frac{1}{n}\sum_{i}\left ( x_{i}-\mu \right

线性空间的度量首先用Hα=[hij]n∗nH_{\alpha}=\left [h_{ij} \right ]_{n*n}来表示线性空间的度量，其中hij=G(αi,αj)h_{ij}=G(\alpha _{i},\alpha _{j}) ， α\alpha 是空间中的一组基。 HαH_{\alpha}是一个对称矩阵。这样定义以后，有：对任意两个向量v1v_{1}和v2v_{2}，v1=

特征值分解与PCA一个矩阵的特征值分解可以将矩阵分解为更加规则和简单的子矩阵A=PTΣPA=P^{T}\Sigma P ，而且这些子矩阵从不同侧面描述了原矩阵的主要特征，如P（特征向量做列向量的矩阵）描述了新投影方向，在这个方向上A表示的线性变换速度最快，而Σ\Sigma描述了对应方向上的伸缩速度。但是不是所有矩阵都可以轻易地如此分解，当且仅当A有满秩的线性无关的特征向量，才可以做这样的分解。不过，

PCA和SVD做降维可视化的一个栗子

SVD的另一个应用示例：图像压缩

特征值与特征向量 我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。 实际上，上述的一段话既讲了矩阵变换特征值及特征向量的几何意义（图形变换）也讲了其物理含义。物

问题提出已知函数z=f(x,y)z=f(x,y)(本文假设它是凸函数，三维空间想象成抛物体，局部极值就是全域唯一极值)，现在要求minf(x,y)min f(x,y)只需求解方程组：⎧⎩⎨⎪⎪⎪⎪∂f∂x=0∂f∂y=0\left\{\begin{matrix}\frac{\partial f}{\partial x} =0 \\\\\frac{\partial f}{\pa