1. 马尔可夫链
随机过程
下一状态只依赖当前状态
用一句话来概括马尔科夫链的话,那就是某一时刻状态转移的概率只依赖于它的前一个状态。举个简单的例子,假如每天的天气是一个状态的话,那个今天是不是晴天只依赖于昨天的天气,而和前天的天气没有任何关系。这么说可能有些不严谨,但是这样做可以大大简化模型的复杂度,因此马尔科夫链在很多时间序列模型中得到广泛的应用,比如循环神经网络RNN,隐式马尔科夫模型HMM等。
假设状态序列为⋯
.
.
.
x
t
−
2
,
x
t
−
1
,
x
t
,
x
t
+
1
,
x
t
+
2
,
.
.
.
...x_{t-2},x_{t-1},x_t,x_{t+1},x_{t+2},...
...xt−2,xt−1,xt,xt+1,xt+2,...,由马尔科夫链定义可知,时刻
x
t
+
1
x_{t+1}
xt+1的状态只与
x
t
{x_t}
xt有关,用数学描述就是:
P
(
x
t
+
1
∣
.
.
.
,
x
t
−
2
,
x
t
−
1
,
x
t
)
=
P
(
x
t
)
P(x_{t+1}|...,x_{t-2},x_{t-1},x_t)=P(x_t)
P(xt+1∣...,xt−2,xt−1,xt)=P(xt)
既然某一时刻状态转移的概率只依赖前一个状态,那么只要求出系统中任意两个状态之间的转移概率,这个马尔科夫链的模型就定了。看一个具体的例子。
这个马尔科夫链是表示股市模型的,共有三种状态:牛市(Bull market), 熊市(Bear market)和横盘(Stagnant market)。每一个状态都以一定的概率转化到下一个状态。比如,牛市以0.025的概率转化到横盘的状态。这个状态概率转化图可以以矩阵的形式表示。如果我们定义矩阵阵P某一位置P(i, j)的值为P(j|i),即从状态i变为状态j的概率。另外定义牛市、熊市、横盘的状态分别为0、1、2,这样我们得到了马尔科夫链模型的状态转移矩阵为:
当这个状态转移矩阵P确定以后,整个股市模型就已经确定!
2. 马尔可夫的平稳分布
马氏链
不可约性(Irreducible)
非周期性(Aperiodic)
时间均匀性(Homogeneous)
有限状态(Finite States)
3. 模块度(Modularity)与Fast Newman算法讲解与代码实现
4.拉普拉斯矩阵
4.1拉普拉斯矩阵的定义
拉普拉斯矩阵(Laplacian matrix)),也称为基尔霍夫矩阵, 是表示图的一种矩阵。给定一个有n个顶点的图
G
=
(
V
,
E
)
G=(V,E)
G=(V,E),其拉普拉斯矩阵被定义为:
L
=
D
−
W
L=D-W
L=D−W,其中为图的度矩阵,为图的邻接矩阵。举一个简单的例子如下:
把G转化为邻接矩阵W
度矩阵D,对角线是每个顶点的度数
根据拉普拉斯矩阵的定义
L
=
D
−
W
L=D-W
L=D−W,可得拉普拉斯矩阵L为:
4.2拉普拉斯矩阵的性质
对于邻接矩阵,定义图中A子图与B子图之间所有边的权值之和如下:
其中
w
i
,
j
w_{i,j}
wi,j,定义为节点i到节点j的权值,如果两个节点不是相连的,权值为零。
与某结点邻接的所有边的权值和定义为该顶点的度d,多个d 形成一个度矩阵 (对角阵)
拉普拉斯矩阵 具有如下性质:
- L是对称半正定矩阵
5.向量和矩阵的范数
5.1 向量范数
- 1-范数: ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 n ∣ x i ∣ ||x||_1=\sum_{i=1}^n{|x_i|} ∣∣x∣∣1=∑i=1n∣xi∣,即向量元素绝对值之和。
- 2-范数: ∣ ∣ x ∣ ∣ 2 = ( ∑ i = 1 n ∣ x i ∣ 2 ) 1 2 ||x||_2=(\sum_{i=1}^n{|x_i|^2})^\frac 12 ∣∣x∣∣2=(∑i=1n∣xi∣2)21,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方
- ∞-范数: ∣ ∣ x ∣ ∣ ∞ = max i ∣ x i ∣ ||x||_∞=\max_i{|x_i|} ∣∣x∣∣∞=maxi∣xi∣,即所有向量元素绝对值中的最大值
- -∞-范数: ∣ ∣ x ∣ ∣ ∞ = min i ∣ x i ∣ ||x||_∞=\min_i{|x_i|} ∣∣x∣∣∞=mini∣xi∣,即所有向量元素绝对值中的最小值
- p-范数: ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p ||x||_p=(\sum_{i=1}^n{|x_i|^p})^\frac 1p ∣∣x∣∣p=(∑i=1n∣xi∣p)p1,即向量元素绝对值的p次方和的1/p次幂
5.2 矩阵范数
- 1-范数: ∣ ∣ A ∣ ∣ 1 = max j ∑ i = 1 m ∣ a i , j ∣ ||A||_1=\max_j\sum_{i=1}^m|a_{i,j}| ∣∣A∣∣1=maxj∑i=1m∣ai,j∣,列和范数,即所有矩阵列向量绝对值之和的最大值
- 2-范数: ∣ ∣ A ∣ ∣ 2 = λ 1 λ 1 为 A T A ||A||_2=\sqrt{\lambda_1}\lambda_1为A^TA ∣∣A∣∣2=λ1λ1为ATA的最大特征值,谱范数,即A’A矩阵的最大特征值的开平方。
- ∞-范数: ∣ ∣ A ∣ ∣ ∞ = max i ∑ j = 1 n ∣ a i , j ∣ ||A||_∞=\max_i\sum_{j=1}^n|a_{i,j}| ∣∣A∣∣∞=maxi∑j=1n∣ai,j∣,行和范数,即所有矩阵行向量绝对值之和的最大值
- F-范数: ∣ ∣ A ∣ ∣ F = ( ∑ i = 1 n ∑ j = 1 n ∣ a i , j ∣ 2 ) 1 2 ||A||_F=(\sum_{i=1}^n\sum_{j=1}^n|a_{i,j}|^2)^\frac 12 ∣∣A∣∣F=(∑i=1n∑j=1n∣ai,j∣2)21,Frobenius范数,即矩阵元素绝对值的平方和再开平方
6.详解pageRank
7.一些小问题
不可约是指从任意状态出发经过有限次转移都能够到达任意其他状态