【论文详读】Botnet Detection Based on Anomaly and Community Detection

1、大偏差原理

网络过程中大偏差原理（Large Deviation Principle, LDP）的基础。大偏差理论是概率论中的一个分支，它研究的是随机变量偏离其典型行为的概率。对于网络流量和图结构而言，大偏差原理提供了一种方法来量化异常事件发生的概率，并且可以用于检测这些异常。

A. 大偏差原理简介

异常检测阶段（第一阶段）基于对网络过程的分析，例如网络流和表示节点交互的图的度数。从一簇概率测度 { μ(n)}\{\mu^{(n)}\}{ μ(n)} 的大偏差原理 (LDP) 的形式定义开始。

定义 1：对于每个闭集 $B$ 的概率向量，

$$\underset{n\to \infty }{\mathrm{limsup}}\frac{1}{n}\log P_n\left({\mu }^{(n)}\in B\right)\le -\underset{\mu \in B}{\inf }I(\mu )$$

$$\underset{n\to \infty }{\mathrm{liminf}}\frac{1}{n}\log P_n\left({\mu }^{(n)}\in B\right)\ge -\underset{\mu \in B^{\circ }}{\inf }I(\mu )$$

其中 $B^{\circ }$ 表示 $B$ 的内部，$P_n$ 是概率测度。

更直观地说，定义 1 表明当 $n$ 足够大时，分布 $P_n$ 的行为如下：

$$P_n\left({\mu }^{(n)}\approx \mu \right)\asymp e^{-nI(\mu )}\text{\hspace{1em}(1)}$$

其中函数 $I(\mu )$ 描述了这种概率的指数衰减率，并被称为速率函数。

B. 离散随机变量的大偏差原理

给定一个离散随机变量 $X$，其字母表为 $\Sigma =({\sigma }_1,\dots ,{\sigma }_{|\Sigma |})$，$X$ 的概率分布可以写成向量 $p=(p_1,\dots ,p_{|\Sigma |})$，其中 $p_i$ 是 $X$ 等于 ${\sigma }_i$ 的概率。

给定 $X$ 的 $n$ 个样本 X={ x1,…,xn}X = \{x_1, \ldots, x_n\}X={ x1​,…,xn​}，经验分布是向量 ${\mu }^{(n)}=({\mu }_1^{(n)},\dots ,{\mu }_{|\Sigma |}^{(n)})$，其中
$${\mu }_i^{(n)}=\frac{1}{n}\sum _{j=1}^{n}1(x_j={\sigma }_i)$$
${\mu }^{(n)}$ 满足具有速率函数
$$I(\mu )=D(\mu \Vert p)\text{\hspace{1em}(2)}$$
的大偏差原理，其中
$$D(\mu \Vert p)=\sum _i{\mu }_i\log \left(\frac{{\mu }_i}{p_i}\right)$$
是两个概率向量之间的 Kullback-Leibler (KL) 散度。

C. 随机图度分布的大偏差原理

设 ${\mathbb{G}}_n$ 表示包含 $n$ 个顶点的所有无向图的空间。对于任何图 $G\in {\mathbb{G}}_n$，令 $\mathbf{d}=(d_1,\dots ,d_n)$ 表示 $G$ 的标记度序列，其中 $d_i$ 表示第 $i$ 个节点的度。令 $m=(1/2){\sum }_{j=1}^n{d}_j$ 表示图 $G$ 中边的数量。我们假设任意两个节点之间最多由一条边连接，这意味着在 $G$ 中任一节点的度小于 $n$。
对于 $0\le i\le n-1$，令 $$h_i=\sum _{j=1}^{n}1(d_j=i)$$ 表示 $G$ 中度为 $i$ 的顶点数量，其中 $1(\cdot )$ 是指示函数。因此，$\mathbf{h}=(h_0,\dots ,h_{n-1})$ 不依赖于顶点排序，将被称作图 $G$ 的度频率向量。度序列 $\mathbf{d}$ 的经验分布，由 ${\mu }^{(n)}$ 定义，是在 N0=N∪{ 0}\mathbb{N}_0 = \mathbb{N} \cup \{0\}N0​=N∪{ 0} 上的概率测度，它在 $i$ 处赋予质量 $h_i/n$，对于 $0\le i\le n-1$。

D. Erdo˝s-Rényi 模型

在 Erdo˝s-Rényi (ER) 模型中，图是通过随机连接节点来构造的。每条边以概率 $p$ 独立地包含在图中。我们用 $G(n,p)$ 来表示这个模型。任何特定顶点 $v$ 的度数分布是二项分布。具体来说，
$$P(d_v=k)=\left(\genfrac{}{}{0ex}{}{n-1}{k}\right)p^k(1-p{)}^{n-1-k}$$

当节点数 $n\to \infty$ 且 $np$ 保持常数时，二项分布收敛到泊松分布。令 $\lambda =np$ 表示这个常数。那么，在极限情况下，一个节点的度数为 $k$ 的概率等于
$$P_{\text{ER}}(k;\lambda )=\frac{{\lambda }^k{e}^{-\lambda }}{k!}\text{\hspace{1em}(3)}$$
这与节点标签无关。令 $p_{\lambda }=(p_{\lambda 0},p_{\lambda 1},\dots ,p_{\lambda \infty })$ 为参数为 $\lambda$ 的泊松分布视为向量。

设 $P({\mathbb{N}}_0)$ 为定义在 ${\mathbb{N}}_0$ 上的所有概率测度的空间。我们将 $P({\mathbb{N}}_0)$ 中的任何概率测度 $\mu$ 视为无限向量 $\mu =({\mu }_0,{\mu }_1,\dots ,{\mu }_{\infty })$。令 S={ μ∈P(N0)∣μˉ:=∑i=0∞iμi<∞}S = \{\mu \in P(\mathbb{N}_0) \mid \bar{\mu} := \sum_{i=0}^\infty i \mu_i < \infty\}S={ μ∈P(N0​)∣μˉ​:=∑i=0∞​iμi​<∞} 为所有具有有限均值的 ${\mathbb{N}}_0$ 上的概率测度的集合。

容易验证 $p_{\lambda }\in S$。令 $P_n$ 表示 ER 模型 $G(n,\lambda /n)$ 在空间 ${\mathbb{G}}_n$ 上的度分布。

参考文献 [12] 证明了对于经验度分布 ${\mu }^{(n)}$，ER 模型在 $S$ 的子集上满足大偏差原理，其速率函数如下定义。

定义 2：对于 ER 模型 $G(n,\lambda /n)$，定义速率函数 $I_{\text{ER}}:S\to [-\infty ,\infty ]$ 为
$$I_{\text{ER}}(\mu ;\lambda )=D(\mu \Vert p_{\lambda })+\frac{1}{2}(\bar{\mu }-\lambda )+\frac{\bar{\mu }}{2}\log \lambda -\frac{\bar{\mu }}{2}\log \bar{\mu }$$
其中
$$D(\mu \Vert p_{\lambda })=\sum _i{\mu }_i\log \left(\frac{{\mu }_i}{p_{\lambda i}}\right)$$
是相对于 $p_{\lambda }$ 的 KL 散度。

E. 偏好依附模型 (Preferential Attachment Model)

偏好依附 (PA) 过程是随着时间演化的图网络，通过逐步将新节点连接到现有节点来形成。每个现有节点被连接的概率取决于其度数 [13]。我们将 PA 过程视为一系列随机图 G={ G1,...,Gn}G = \{G_1, ..., G_n\}G={ G1​,...,Gn​}，其中 $G_j$ 是时间 $j$ 时的随机图。我们假设每次只附加一个新节点，即对于所有 j=1,...,n−1j = 1, ..., n - 1