【时间序列分析基础系列之一】随机性时间序列模型

---

前言

1 随机性时间序列模型

时间序列分析方法是通过对样本观测值的观察分析，将时间序列的趋势项、周期项和随机项分解出来。
其中，对于趋势性或周期性变化，常用确定性时序分析，而对于余下的随机项，可用随机时序模型拟合，属于随机时序分析。确定和随机两部分组合起来共同描述一个时间序列。
随机性时间序列模型最早由G.E.P.Box和G.M.Jenkins提出。

1.1 基本概念

1.1.1 随机过程概念

设$T$是负无穷到正无穷的子集，如果$\forall t\in T$，都有一个随机变量与之对应，就称为随机变量的集合为随机过程。
当$T$是全体整数或全体非负整数时，称相应的随机过程为离散随机过程。把随机序列的指标集合$T$看成时间指标时，这个随机序列就是离散时间序列。
当$T$是全体实数或全体非负实数时，称相应的随机过程为连续随机过程。把随机序列的指标集合$T$看成时间指标时，这个随机序列就是连续时间序列。

1.1.2 几个重要的平稳随机过程

白噪声（纯随机过程）

设$a_t$为平稳序列，对于$\forall t\in N$，都有

$$E(a_t)=\mu$$
$$COV(a_t,a_s)=\{\begin{array}{r}{\sigma }_a^2,(t=s)\\ 0,t\ne s\end{array}$$

独立增量随机过程

对于$\forall n,t_i\in T(i=1,2,...,n;t_1<t_2<...<t_n)$，随机变量$X(t_2)-X(t_1),X(t_3)-X(t_2),...,X(t_n)-X(t_n-1)$都相互独立，则称随机过程 { X t } = { X t : t ∈ T } \{X_t\}=\{X_t:t\in T\} {Xt​}={Xt​:t∈T}为独立增量随机过程

二阶矩过程与宽平稳过程

对于$\forall t\in T，X_t$的均值和方差存在，则称此过程为二阶矩过程。
若随机过程 { X t , t ∈ T } \{X_t, t \in T\} {Xt​,t∈T}是一个二阶矩过程，且满足：
$$\begin{gathered} E{X}_t=\mu ,\forall t\in T \\ E[X_{t+\tau }][X_t-\mu ]={\gamma }_{\tau },\forall t,t+\tau \in T \end{gathered}$$
则称 { X t , t ∈ T } \{X_t,t\in T \} {Xt​,t∈T}为宽平稳随机过程。

注意：白噪声为宽平稳随机过程，平稳时间序列中讨论的都为宽平稳随机序列。

严平稳随机过程

对于$\forall t_i(i=1,2,...,n)$和任意实数$s$，随机过程 { X t } \{X_t\} {Xt​}的$n$维分布函数满足关系式，即为严平稳随机过程：
$$F_n(X_1,X_2,...,X_n;t_1,t_2,...,t_n)=F_n(X_1,X_2,...,X_n;t_1+s,t_2+s,...,t_n+s)$$
二阶矩存在的严平稳随机过程一定是宽平稳随机过程，反之不成立。

正态过程

若 { X t , t ∈ T } \{X_t, t\in T\} {Xt​,t∈T}的有限维分布都是正态分布，则称 { X t , t ∈ T } \{X_t, t \in T\} {Xt​,t∈T}为正态随机过程。

1.1.3 动态性

动态性：系统现在的行为与其历史行为的相关性，也就是系统的记忆性，具体地，就是在某一时刻进入系统的输入对系统后续行为的影响，如果该输入只影响系统下一时刻的行为，而对下一时刻以后的行为不发生作用，那么系统就有一阶动态或一期记忆性。
那么以此类推，如果该输入对系统之后的$n$个时刻的行为都有影响，那么就说系统具有$n$阶动态性。例如，$n$阶自回归模型（$AR(n)$）为：
$$X_t={\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+...+{\varphi }_n{X}_{t-n}+a_t$$
基本假设：Xt仅与X_{t-1}、X_{t-2}、X_{t-3}等有线性关系，a_{t}为独立同分布的正态序列
一种有意思的理解：n阶自回归模型就是将Xt中依赖于X_{t-1}、X_{t-2}、X_{t-3}等与过去相关的成分剥离掉，得到一个独立的时间序列a_{t}
而a_{t}作为白噪声序列，对过去没有记忆性
与$AR(n)$模型对比来看，$MA(m)$模型描述的是系统对过去时刻进入系统的噪声的记忆：
$$X_t=a_t-{\theta }_1{a}_{t-1}-{\theta }_2{a}_{t-2}-...-{\theta }_m{a}_{t-m}$$
基本假设：Xt仅与a_{t-1}、a_{t-2}、a_{t-3}等有线性关系，a_{t}为独立同分布的正态序列
该系统在t时刻的响应Xt与过去时刻的响应X_{t-1}、X_{t-2}、X_{t-3}等无关，而与过去t-1、t-2等时刻进入系统的扰动a_{t-1}、a_{t-2}、a_{t-3}存在着一定的相关关系，于是去掉这种相关关系以后，得到一个独立序列a_{t}
综合来看，$ARMA(n,m)$描述的是系统对过去自身状态以及各时刻进入的噪声的记忆。
$$\begin{gathered} X_t-{\varphi }_1{X}_{t-1}-{\varphi }_2{X}_{t-2}-...-{\varphi }_n{X}_{t-n} \\ =a_t-{\theta }_1{a}_{t-1}-{\theta }_2{a}_{t-2}-...-{\theta }_m{a}_{t-m} \end{gathered}$$
注意：
(1) AR(n)、MA(n)、ARMA(n,m)模型都是ARMA(n,n-1)的特殊情形
(2) 对于平稳系统，都可以用一个ARMA(n,n-1)模型近似得到想要得到的任意程度
(3) 对于n阶自回归部分，移动平均部分的阶数应当为n-1
而对于一般ARMA(n,m)模型中m!=n-1的情形，实际上是ARMA(n,n-1)模型的\phi或\theta为0的特殊情形
从连续系统的离散化过程来看，ARMA(n,n-1)模型也是合理的

2 算子

2.1 差分算子

以$AR(1)$模型为例：
$$X_t=X_{t-1}+a_t$$
即随机游走模型，该系统对过去有很强的惯性，与过去强相关，当Xt从t时刻移至t-1时刻时，若没有随机项a_{t}，则Xt的值保持不变(完全的记忆性)，但是就是因为这个a_{t}，Xt的值才不确定。由于随机项a_{t}主宰X的增量大小，所以才称为随机游走模型
即有下式，其中$\nabla$表示差分算子：
$$\nabla X_t=a_t$$
除此之外，我们称$Y_t=X_t-X_{t-1}$叫做关于$X_t$的一阶差分，记为：
$$Y_t=\nabla X_t$$
由此递归，则称$Z_t=Y_t-Y_{t-1}$叫做关于$Y_t$的一阶差分，也是关于$X_t$的二阶差分，记为：
$$Z_t=\nabla Y_t=X_t-X_{t-1}-X_{t-1}+X_{t-2}={\nabla }^2{X}_t$$
类似地，设$X_t$地第$k-1$次差分为$W_t$，则称$W_t-W_{t-1}$为$X_t$的$k$阶差分。

注意：k阶差分不是简单的$X_t - X_{t-k}$，而是叠加差分。

2.2 格林函数

同样以$AR(1)$模型为例：
$$X_t=X_{t-1}+a_t$$
对应的齐次差分方程的通解为：
$$X_t=c{\phi }_1^t,t\in Z$$
由$AR(1)$右边的形式可知，模型的特解可能是 { a t } \{a_t\} {at​}序列的线性组合：

$$\begin{array}{rl}{X}_t& ={\phi }_1{X}_{t-1}+a_t\\ & ={\phi }_1({\phi }_2{X}_{t-2}+a_{t-1})+a_t\\ & ={\phi }_1^2{X}_{t-2}+{\phi }_1{a}_{t-1}+a_t\\ & ={\phi }_1^2(\phi X_{t-3}+a_{t-2})+{\phi }_1{a}_{t-1}+a_t\\ & ={\phi }^3{X}_{t-3}+{\phi }^2{a}_{t-2}+{\phi }_1{a}_{t-1}+a_t\\ & ...\\ & =\sum _{j=0}^{\infty }{\phi }_1^j{a}_{t-j}\end{array}$$
则$AR(1)$的通解为：
$$X_t=\sum _{j=0}^{\infty }{\phi }_1^j{a}_{t-j}+c{\phi }_1^t$$
当|\varphi_{t}|<1时，t趋近于正无穷，则c\varphi_1^{t}趋近于0，则Xt完全被特解部分决定，也就是独立序列a_{t-j}部分确定
若|\varphi_{t}|>1时，则通解部分与特解部分均发散，这样的话就没有接下来的统计学意义了
（个人理解：第一，统计学预测意义角度，之后是将时间序列用于预测，如果发散，则并没有找到时间序列中的统计学规律，那么这样预测也是无意义的，故需要施加一个平稳性条件，之后的所有时间序列分析也是建立在平稳性假设条件基础上的预测；第二，遍历性角度。由于之后许多处理需要对不同t时刻进行期望方差计算，如果不同时刻的期望不同那么就非常麻烦了，就需要整个序列先平稳，也就是收敛到同一期望值，那么就方便了遍历计算）
而其中系数函数${\phi }_1^j$客观地描述了该系数地动态性，故称此系数为格林函数，用$G_j$表示：
$$G_j={\phi }_1^j$$
$AR(1)$的特解也可以改写为：
$$X_t=\sum _{j=0}^{\infty }{G}_j{a}_{t-j}$$
或：
$$X_t=\sum _{k=-\infty }^t{G}_{t-k}{a}_k$$

2.3 后移算子

后移算子$B$表示后移的期数，如：$$B^j{X}_t=X_{t-j}$$
具有如下性质：

• 对和$t$无关的随机变量$Y$有：$$BY=Y$$
• 对整数$n$，常数$a$有：$$B^n(a{X}_t)=a{B}^n{X}_t=a{X}_{t-n}$$
• 对整数$n,m$有：$$B^{n+m}(X_t)=B^n{B}^m{X}_t=X_{t-n-m}$$
• 对多项式$\psi (z)={\sum }_{j=0}^p{c}_j{z}^j$，有：$$\psi (B)X_t=\sum _{j=0}^p{c}_j{X}_{t-j}$$
• 对多项式$\psi (z)={\sum }_{j=0}^p{c}_j{z}^j$和$\phi (z)={\sum }_{j=0}^q{d}_j{z}^j$的乘积$f(z)=\psi (z)\phi (z)$，有：
  $$f(B)X_t=\psi (B)[\phi (B)X_t]=\phi (B)[\psi (B)X_t]$$
• 对时间序列$X_t,Y_t$而言，多项式$\psi (z)={\sum }_{j=0}^p{c}_j{z}^j$和随机变量U，V，W，有：$$\psi (B)(U{X}_t+V{Y}_t+W)=U\psi (B)X_t+V\psi (B)Y_t+W\psi (1)$$

2.4 逆函数

在一定条件下，所有模型也可以转化为无限阶的AR模型，即：
$$\begin{array}{rl}{X}_t& =I_1{X}_{t-1}+I_2{X}_{t-2}+...+a_t\\ & =\sum _{j=1}^{\infty }{I}_j{X}_{t-j}+a_t\end{array}$$
或：
$$\begin{array}{rl}{a}_t& =(1-\sum _{j=1}^{\infty }{I}_j{X}_{t-j})X_t\\ & =(1-I_{1}B-I_2{B}^2-...)X_t\\ & =\sum _{j=0}^{\infty }(-I_j)B^j{X}_t\end{array},(I_0=-1)$$
上式被称为$X_t$的逆转形式，其中$I_j$称为逆函数。一个过程是否具有逆转形式，称为过程是否具有可逆性，或是否可逆。

2.5 格林函数与逆函数的对偶转换

利用对偶性求得一种模型的格林函数或逆函数，就可以直接得到与其对偶的模型的逆函数或格林函数。
具体做法为，在ARMA(n,m)的格林函数中用$-I_j$代替$G_j$，$\phi$和$\theta$相互代替：
例如，ARMA(1,2)的格林函数为：
$$\{\begin{array}{l}{G}_1={\phi }_1-{\theta }_1\\ G_2={\phi }_1{G}_1-{\theta }_2\\ G_j={\phi }_1{G}_{j-1},(j\ge 3)\end{array}$$
ARMA(2,1)的逆函数为：
$$\{\begin{array}{l}{I}_1={\phi }_1-{\theta }_1\\ I_2={\phi }_2-I_1{\theta }_1\\ I_j={\theta }_1{I}_{j-1},(j\ge 3)\end{array}$$

3 平稳性与可逆性

对于ARMA模型来说，只有平稳且可逆才是有意义的，一般总是假定模型既平稳又可逆。

3.1 平稳性条件

对于ARMA(n,n-1)模型平稳性条件的参数形式，一般是先求得模型格林函数的显性表达式，然后看$x_t$收敛时，特征根${\lambda }_1,{\lambda }_2,...,{\lambda }_n$需要达到的要求是什么，特征根${\lambda }_n$与参数${\phi }_n$关系转换后，即为是由参数${\phi }_1,{\phi }_2,...,{\phi }_n,$构成的n+1个不等式。
平稳性仅与自回归参数有关，而与移动平均参数无关。

3.1.1 ARMA(1,m)

平稳性条件：
$$|{\phi }_1|<1$$

3.1.2 ARMA(2,m)

平稳性条件：
$$\{\begin{array}{l}{\phi }_1+{\phi }_2<1\\ {\phi }_2-{\phi }_1<1\\ |{\phi }_2|<1\end{array}$$

3.2 可逆性条件

可逆性与移动平均参数有关，而与自回归参数无关。

3.2.1 ARMA(n,1)

平稳性条件：
$$|{\theta }_1|<1$$

3.2.2 ARMA(n,2)

平稳性条件：
$$\{\begin{array}{l}{\theta }_1+{\theta }_2<1\\ {\theta }_2-{\theta }_1<1\\ |{\theta }_2|<1\end{array}$$

4 分解

4.1 Wold分解

回顾$AR(1)$模型的特解为下式，下式也被成为Wold分解式，$G_j$也叫Wold系数：
$$X_t=\sum _{j=0}^{\infty }=G_j{a}_{t-j}$$
由于$a_{t-j}$为相互独立的（模型假设），所以可以看作线性空间的基，$X_t$可由$a_{t-j}$进行线性表示。其系数$G_j$是$X_t$对于$a_{t-j}$的坐标投影，$X_t$是$G_j{a}_{t-j}$的正交向量和。
也就是说，用线性空间来审视上式，即为wold分解。

5 模型识别

5.1 Box-Jenkins法

即根据样本自相关、偏自相关函数的截尾性和拖尾性初步判断序列所适合的模型类型。

1. 零均值化
2. 样本自相关函数
   $$\widehat{{\rho }_k}=\frac{{\sum }_{t=1}^{n-k}(x_t-\bar{x})(x_{t-k}-\bar{x})}{{\sum }_{t=1}^n(x_t-\bar{x}{)}^2}$$
3. 样本偏自相关函数
   $$\widehat{{\varphi }_{kk}}=\frac{\widehat{D_k}}{\hat{D}}$$
4. 根据截尾和拖尾判断模型

自相关函数	偏自相关函数	选择模型
拖尾	p阶截尾	AR(p)
q阶截尾	拖尾	MA(q)
拖尾	拖尾	ARMA(p,q)

# 6 参数估计 ## 6.1 直接估计法 常用的参数估计方法：

6.1.1 矩估计

6.1.2 极大似然估计

6.1.3 条件最小二乘估计

条件最小二乘估计是实际中最常用的参数估计方法，假设条件为：
$$a_{t-1}=a_{t-2}=...=a_{t-q}=0$$
残差平方和方程为：
$$Q(\hat{\beta })=\sum _{t=p+1}^n{a}_t^2=\sum _{t=p+1}^n[X_t-\sum _{i=1}^p{\phi }_i{X}_{t-i}+\sum _{j=1}^q{\theta }_j{a}_{t-j}{]}^2$$
解法：迭代法
优缺点：

• OLS估计充分应用每一个观察值提供的信息，因而估计精度高
• 条件OLS估计使用率较高
• 但是需要假定总体分布（缺点）

6.2 数值法

都是用迭代

6.2.1 线性迭代法

给出初始值，根据式子进行迭代计算，直至相邻两次迭代值相差不大时停止迭代，最后迭代结果作为近似解

6.2.2 牛顿-拉普森(Newton-Raphson)算法