一些数学知识点

1、

范数：度量矩阵或向量的大小

L0范数：向量中非零元素个数

L1范数：向量各元素绝对值之和

L2范数：向量各元素平方之和开方

2、

逗号区别变量：f(x,y)   p(x,y)   p(x1,x2)，括号内是同等变量

分号区别参数：p(x;θ），参数为θ时，x发生的概率

p(x|y)：y条件下x发生的概率

p(x,y)：x,y的联合概率，同时发生x和y的概率

p(y|x;θ)：

p(x|theta)不总是代表条件概率；也就是说p(x|theta)不代表条件概率时与p(x;theta)等价

而一般地

写竖杠表示条件概率，是随机变量；

写分号p(x; theta)表示待估参数（是固定的，只是当前未知）,应该可以直接认为是p(x)，加了;是为了说明这里有个theta的参数，p(x; theta)意思是随机变量X=x的概率。在贝叶斯理论下又叫X=x的先验概率。

3、

CRF

CRF的全称是Conditional Random Field。它的形式如下所示：

可以看出，条件随机场在建模的时候同样需要计算联合概率，只不过这一次参与计算的有两部分随机变量——X和Y。一般来说，我们把X称作观察变量，也就是已知的变量；Y称作目标变量或者隐含变量，是我们想知道的变量。

比方说图像分割的问题，X就是图像的像素，Y就是每个像素所归属的类别。当然对于二维的图像问题还是有点复杂，那么我们用一个简单的一维问题做了例子：比方说自然语言处理中的词性标注问题，那么它的建模形式如下所示：

4、

无向图：边没有方向的图称为无向图。

无向图G=<V,E>,其中：1.V是非空集合，称为顶点集。2.E是V中元素构成的无序二元组的集合，称为边集。

5、凹函数、凸函数

凹函数：E(f(x))<=f(E(x))；f''(x)<=0

凸函数：E(f(x))>=f(E(x))；f''(x)>=0

下图为凸函数，f(EX)即为f(E(x))