超级会员免费看
金融市场结构突变检测方法解析
在金融投资领域，基于机器学习的投资策略日益受到关注。我们往往希望在多种因素汇聚，且预测结果能带来良好风险调整回报时进行投资。市场结构突变，如从一种市场状态过渡到另一种市场状态，就是这样一种值得关注的因素汇聚情况。例如，均值回归模式可能转变为动量模式，这种转变常使多数市场参与者措手不及，从而犯下代价高昂的错误。这些错误恰恰是许多盈利策略的基础，因为亏损方往往在意识到错误时已为时过晚，在接受损失前，他们可能会非理性地持有头寸，甚至绝望地增加亏损头寸，最终被迫止损。因此，结构突变蕴含着极佳的风险回报机会。接下来，我们将介绍一些衡量结构突变可能性的方法，以便构建有价值的特征。
结构突变测试类型
结构突变测试大致可分为两类：
-
累积和（CUSUM）测试
：用于检验累积预测误差是否显著偏离白噪声。
-
爆发性测试
：不仅检验是否偏离白噪声，还检测过程是否呈现指数增长或崩溃，因为这种情况与随机游走或平稳过程不符，且从长期来看是不可持续的。爆发性测试又可细分为右尾单位根测试和次/超鞅测试，前者在自回归规范下评估指数增长或崩溃的存在，后者在多种函数形式下进行评估。
CUSUM测试
CUSUM测试的核心思想源于之前介绍的CUSUM过滤器，即当某个变量（如累积预测误差）超过预定义阈值时进行采样。这种概念可进一步扩展用于结构突变测试。
-
Brown - Durbin - Evans递归残差CUSUM测试
：假设在每个观测时刻(t = 1, …, T)，有一组特征(x_t)可预测值(y_t)。矩阵(X_t)由时间序列特征(t ≤ T)组成。通过递归最小二乘法（RLS）估计(\beta)，基于(y_t = \beta’
t x_t + \varepsilon_t)的规范，在子样本上进行拟合，得到(T - k)个最小二乘估计。标准化的一步超前递归残差计算如下：
(\hat{\omega}_t = \frac{y_t - \hat{\beta}’
{t - 1}x_t}{\sqrt{f_t}})
(f_t = \hat{\sigma}^2_{\varepsilon}[1 + x’
t(X’_tX_t)^{-1}x_t])
CUSUM统计量定义为：
(S_t = \sum
{j = k + 1}^{t}\frac{\hat{\omega}
j}{\hat{\sigma}
{\omega}})
(\hat{\sigma}^2_{\omega} = \frac{1}{T - k}\sum_{t = k}^{T}(\hat{\omega}
t - E[\hat{\omega}_t])^2)
在原假设(\beta)为常数（(H_0 : \beta_t = \beta)）下，(S_t \sim N[0, t - k - 1])。不过，该方法的起始点是任意选择的，可能导致结果不一致。
-
Chu - Stinchcombe - White水平CUSUM测试
：此方法简化了前一种方法，假设(H_0 : \beta_t = 0)，即预测无变化（(E
{t - 1}[\Delta y_t] = 0)），从而可直接处理(y_t)水平，降低计算负担。标准化的对数价格(y_t)相对于(y_n)（(t > n)）的偏离计算为：
(S_{n, t} = (y_t - y_n)(\hat{\sigma}
t\sqrt{t - n})^{-1})
(\hat{\sigma}^2_t = (t - 1)^{-1}\sum
{i = 2}^{t}(\Delta y_i)^2)
在原假设(H_0 : \beta_t = 0)下，(S_{n, t} \sim N[0, 1])。单侧检验的时间相关临界值为：
(c_{\alpha}[n, t] = \sqrt{b_{\alpha} + \log[t - n]})
其中(b_{0.05} = 4.6)。该方法的一个缺点是参考水平(y_n)的设定有些随意，可通过在一系列后移窗口(n \in [1, t])上估计(S_{n, t})并取最大值来克服这一问题。
爆发性测试
爆发性测试可分为单泡沫测试和多泡沫测试。在金融市场中，泡沫不仅指价格上涨，也包括抛售。多泡沫测试更为稳健，因为单泡沫测试可能会将泡沫 - 破裂 - 泡沫的循环误判为平稳序列。
-
Chow型Dickey - Fuller测试
：该测试源于Gregory Chow的工作。考虑一阶自回归过程(y_t = \rho y_{t - 1} + \varepsilon_t)，其中(\varepsilon_t)为白噪声。原假设(H_0)为(y_t)遵循随机游走（(\rho = 1)），备择假设(H_1)为(y_t)在(\tau^
T)时刻（(\tau^
\in (0, 1))）从随机游走转变为爆发性过程。为检验这一假设，拟合(\Delta y_t = \delta y_{t - 1}D_t[\tau^
] + \varepsilon_t)的规范，其中(D_t[\tau^
])是一个虚拟变量。检验统计量(DFC_{\tau^
} = \frac{\hat{\delta}}{\hat{\sigma}_{\delta}})。该方法的主要缺点是(\tau^
)未知，Andrews提出在一定区间内尝试所有可能的(\tau^
)，并取最大值作为未知(\tau^
)的测试统计量(SDFC = \sup_{\tau^
\in [\tau_0, 1 - \tau_0]}{DFC_{\tau^
}})。此外，Chow方法假设只有一个断点，且泡沫持续到样本结束，对于存在三个或更多制度转换的情况，需要引入Supremum Augmented Dickey - Fuller（SADF）测试。
-
Supremum Augmented Dickey - Fuller（SADF）测试
：标准的单位根和协整测试在检测泡沫行为时效果不佳，因为它们难以区分平稳过程和周期性崩溃的泡沫模型。SADF测试通过拟合回归规范(\Delta y_t = \alpha + \beta y_{t - 1} + \sum_{l = 1}^{L}\gamma_l\Delta y_{t - l} + \varepsilon_t)，在每个端点(t)使用后向扩展的起始点进行拟合，计算(SADF_t = \sup_{t_0 \in [1, t - \tau]}{ADF_{t_0, t}} = \sup_{t_0 \in [1, t - \tau]}{\frac{\hat{\beta}
{t_0, t}}{\hat{\sigma}
{\beta_{t_0, t}}}})，其中(\tau)是分析中使用的最小样本长度。与SDFC相比，SADF在每个(t \in [\tau, T])计算，且不引入虚拟变量，而是递归扩展样本起始点，不假设已知的制度转换次数或断点。以下是SADF测试的一些相关要点：
-
原始价格与对数价格
：在进行结构突变测试时，使用对数价格通常更优，尤其是处理包含泡沫和破裂的长期时间序列时。对于原始价格，如果ADF的原假设被拒绝，意味着价格是平稳的，方差有限，但这会导致收益率的波动性随价格变化，使得模型在收益率方差与价格水平无关时出现结构异方差。而使用对数价格，ADF规范表明价格水平影响收益率的均值而非波动性，在处理长时间序列和不同制度下的显著价格差异时更为合适。
-
计算复杂度
：SADF算法的计算复杂度为(O(n^2))。对于一个美元棒序列的E - mini S&P 500期货，计算量巨大，且随着样本长度(T)的增加迅速增长。单个ADF估计所需的浮点运算（FLOPs）如下表所示：
|矩阵操作|FLOPs|
| ---- | ---- |
| (o_1 = X’y) | ((2T - 1)N) |
| (o_2 = X’X) | ((2T - 1)N^2) |
| (o_3 = o^{-1}
2) | (N^3 + N^2 + N) |
| (o_4 = o_3o_1) | (2N^2 - N) |
| (o_5 = y - Xo_4) | (T + (2N - 1)T) |
| (o_6 = o’_5o_5) | (2T - 1) |
| (o_7 = o_3o_6) | (T - \frac{N}{2} + N^2) |
| (o_8 = \frac{o_4[0, 0]}{\sqrt{o_7[0, 0]}}) | (1) |
-
指数行为条件
：考虑对数价格的零滞后规范(\Delta\log[y_t] = \alpha + \beta\log[y
{t - 1}] + \varepsilon_t)，可重写为(\log[\tilde{y}
t] = (1 + \beta)\log[\tilde{y}
{t - 1}] + \varepsilon_t)。通过回推时间步长，可得到该动态系统的三种状态条件：
-
稳定状态
：当(\beta < 0)时，(\lim_{t \to \infty}E[\log[y_t]] = -\frac{\alpha}{\beta})，此时系统处于稳定状态，不平衡为(\log[y_t] - (-\frac{\alpha}{\beta}) = \log[\tilde{y}
t])，半衰期为(t = -\frac{\log[2]}{\log[1 + \beta]})。
-
单位根状态
：当(\beta = 0)时，系统是非平稳的，表现为鞅。
-
爆发状态
：当(\beta > 0)时，根据初始条件(\log[y_0])与(\frac{\alpha}{\beta})的大小关系，(\lim
{t \to \infty}E[\log[y_t]])趋向于(-\infty)或(+\infty)。
-
分位数ADF（QADF）
：SADF取t值序列的最大值，可能存在稳健性问题，其估计值可能因采样频率和样本时间戳的不同而有显著差异。QADF通过计算分位数来更稳健地估计ADF极值。首先定义(s_t = {ADF_{t_0, t}}
{t_0 \in [0, t_1 - \tau]})，然后计算(s_t)的(q)分位数(Q
{t, q} = Q[s_t, q])作为高ADF值的中心度量，再定义(\dot{Q}
{t, q, v} = Q
{t, q + v} - Q_{t, q - v})作为高ADF值的离散度度量。SADF是QADF的一个特例，当(q = 1)时，(SADF_t = Q_{t, 1})。
-
条件ADF（CADF）
：另一种解决SADF稳健性问题的方法是计算条件矩。定义(f[x])为(s_t = {ADF_{t_0, t}}
{t_0 \in [1, t_1 - \tau]})的概率分布函数，计算(C
{t, q} = K^{-1}\int_{Q_{t, q}}^{\infty}xf[x]dx)作为高ADF值的中心度量，(\dot{C}
{t, q} = \sqrt{K^{-1}\int
{Q_{t, q}}^{\infty}(x - C_{t, q})^2f[x]dx})作为离散度度量，其中(K = \int_{Q_{t, q}}^{\infty}f[x]dx)。由于构造原因，(C_{t, q} ≤ SADF_t)，当SADF超过(-1.5)时，可能出现水平轨迹，表明SADF对异常值敏感。
-
SADF的实现
：以下是SADF算法的Python实现代码：
# SADF的内循环
def get_bsadf(logP, minSL, constant, lags):
y, x = getYX(logP, constant=constant, lags=lags)
startPoints, bsadf, allADF = range(0, y.shape[0] + lags - minSL + 1), None, []
for start in startPoints:
y_, x_ = y[start:], x[start:]
bMean_, bStd_ = getBetas(y_, x_)
bMean_, bStd_ = bMean_[0, 0], bStd_[0, 0] **.5
allADF.append(bMean_ / bStd_)
if allADF[-1] > bsadf:
bsadf = allADF[-1]
out = {'Time': logP.index[-1], 'gsadf': bsadf}
return out
# 准备数据集
def getYX(series, constant, lags):
series_ = series.diff().dropna()
x = lagDF(series_, lags).dropna()
x.iloc[:, 0] = series.values[-x.shape[0] - 1:-1, 0] # 滞后水平
y = series_.iloc[-x.shape[0]:].values
if constant != 'nc':
x = np.append(x, np.ones((x.shape[0], 1)), axis=1)
if constant[:2] == 'ct':
trend = np.arange(x.shape[0]).reshape(-1, 1)
x = np.append(x, trend, axis=1)
if constant == 'ctt':
x = np.append(x, trend ** 2, axis=1)
return y, x
# 应用滞后到数据框
def lagDF(df0, lags):
df1 = pd.DataFrame()
if isinstance(lags, int):
lags = range(lags + 1)
else:
lags = [int(lag) for lag in lags]
for lag in lags:
df_ = df0.shift(lag).copy(deep=True)
df_.columns = [str(i) + '_' + str(lag) for i in df_.columns]
df1 = df1.join(df_, how='outer')
return df1
# 拟合ADF规范
def getBetas(y, x):
xy = np.dot(x.T, y)
xx = np.dot(x.T, x)
xxinv = np.linalg.inv(xx)
bMean = np.dot(xxinv, xy)
err = y - np.dot(x, bMean)
bVar = np.dot(err.T, err) / (x.shape[0] - x.shape[1]) * xxinv
return bMean, bVar
次/超鞅测试
除了基于标准ADF规范的测试方法，还有一些不依赖该规范的爆发性测试，即次/超鞅测试。给定观测值({y_t})，我们希望在不同规范下测试是否存在爆发性时间趋势，原假设(H_0 : \beta = 0)，备择假设(H_1 : \beta \neq 0)。具体规范如下：
- 多项式趋势（SM - Poly1）：(y_t = \alpha + \gamma t + \beta t^2 + \varepsilon_t)
- 多项式趋势（SM - Poly2）：(\log[y_t] = \alpha + \gamma t + \beta t^2 + \varepsilon_t)
- 指数趋势（SM - Exp）：(y_t = \alpha e^{\beta t} + \varepsilon_t \Rightarrow \log[y_t] = \log[\alpha] + \beta t + \xi_t)
- 幂趋势（SM - Power）：(y_t = \alpha t^{\beta} + \varepsilon_t \Rightarrow \log[y_t] = \log[\alpha] + \beta \log[t] + \xi_t)
与SADF类似，在每个端点(t = \tau, …, T)，使用后向扩展的起始点拟合这些规范，计算：
(SMT_t = \sup_{t_0 \in [1, t - \tau]}{\frac{|\hat{\beta}
{t_0, t}|}{\hat{\sigma}
{\beta_{t_0, t}}}})
由于我们对爆发性增长和崩溃都感兴趣，所以取绝对值。在简单回归情况下，(\beta)的方差(\hat{\sigma}^2_{\beta} = \frac{\hat{\sigma}^2_{\varepsilon}}{\hat{\sigma}^2_{xx}(t - t_0)})，当(t \to \infty)时，(\hat{\sigma}
{\beta
{t_0, t}} \to 0)。为了纠正可能偏向长期泡沫的偏差，我们引入系数(\varphi \in [0, 1])来惩罚大样本长度，得到：
(SMT_t = \sup_{t_0 \in [1, t - \tau]}{\frac{|\hat{\beta}
{t_0, t}|}{\hat{\sigma}
{\beta_{t_0, t}}(t - t_0)^{\varphi}}})
例如，当(\varphi = 0.5)时，可补偿较长样本长度下较低的(\hat{\sigma}
{\beta
{t_0, t}})。当(\varphi \to 0)时，(SMT_t)会呈现更长的趋势，长期泡沫会掩盖短期泡沫；当(\varphi \to 1)时，(SMT_t)会变得更嘈杂，更多短期泡沫会被选中。因此，通过调整(\varphi)值，可以过滤出针对特定持有期的爆发性信号，机器学习算法可使用从广泛(\varphi)值估计得到的(SMT_t)作为特征。
总结
通过对上述结构突变测试方法的介绍，我们可以更全面地衡量金融市场中的结构突变可能性，为投资决策提供有价值的参考。不同的测试方法各有优缺点，在实际应用中，需要根据数据特点和研究目的选择合适的方法。同时，对于计算复杂度较高的方法，如SADF，可考虑采用并行化策略来提高计算效率。这些方法的综合应用有助于我们更好地捕捉市场中的机会，降低风险。
练习题
为了更好地掌握上述方法的应用，以下提供一些练习题：
1. 在E - mini S&P 500期货的美元棒序列上：
- 应用Brown - Durbin - Evans方法，看是否能识别出互联网泡沫。
- 应用Chu - Stinchcombe - White方法，检查是否能发现2007 - 2008年的泡沫。
2. 在E - mini S&P 500期货的美元棒序列上：
- 计算Chow型的SDFC爆发性测试，确定该方法选择的断点日期，并判断是否符合预期。
- 计算并绘制该序列的SADF值，观察在互联网泡沫和大衰退之前是否出现极端峰值，以及泡沫破裂是否也会导致峰值。
3. 基于上一题的结果：
- 确定序列呈现稳定、单位根和爆发条件的时期。
- 计算QADF。
- 计算CADF。
4. 在E - mini S&P 500期货的美元棒序列上：
- 计算(\varphi = 1)时SM - Poly1和SM - Poly2的SMT值，并计算它们的相关性。
- 计算(\varphi = 1)和(\varphi = 0.5)时SM - Exp的SMT值，并计算相关性。
- 计算(\varphi = 1)和(\varphi = 0.5)时SM - Power的SMT值，并计算相关性。
5. 如果计算每个价格的倒数，序列({y^{-1}_t})会将泡沫变为破裂，破裂变为泡沫：
- 确定是否需要这种转换来识别破裂。
- 找出本章中哪些方法可以在不进行这种转换的情况下识别破裂。
金融市场结构突变检测方法解析
不同测试方法的特点与对比
不同的结构突变测试方法具有各自独特的特点，在实际应用中可以根据具体需求进行选择。下面对几种主要方法进行对比分析：
| 测试方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| Brown - Durbin - Evans递归残差CUSUM测试 | 基于递归残差，能反映回归关系随时间的稳定性 | 起始点任意选择，结果可能不一致 | 适用于需要考虑特征对预测值影响，且对回归系数稳定性进行监测的场景 |
| Chu - Stinchcombe - White水平CUSUM测试 | 简化计算，直接处理价格水平 | 参考水平设定随意 | 适用于对计算效率要求较高，且预测无变化假设合理的场景 |
| Chow型Dickey - Fuller测试 | 能检测从随机游走到爆发性过程的转变 | 断点未知，假设单一断点且泡沫持续到样本结束 | 适用于初步判断是否存在结构突变，且对断点大致位置有一定预期的场景 |
| Supremum Augmented Dickey - Fuller（SADF）测试 | 不假设已知的制度转换次数或断点，能适应复杂市场情况 | 计算复杂度高 | 适用于处理包含多个泡沫和破裂的长期时间序列，需要准确检测泡沫和断点的场景 |
| 次/超鞅测试 | 不依赖标准ADF规范，可在多种函数形式下测试 | 可能存在偏向长期泡沫的偏差 | 适用于检测不同趋势（多项式、指数、幂等）下的爆发性时间趋势的场景 |
实际应用中的注意事项
在实际应用这些结构突变测试方法时，需要注意以下几点：
1.
数据预处理
：确保数据的质量和一致性，对于缺失值、异常值等进行合理处理。例如，在处理价格数据时，可能需要进行平滑处理或去除异常波动。
2.
参数选择
：不同的测试方法有各自的参数需要选择，如SADF中的最小样本长度(\tau)、次/超鞅测试中的(\varphi)值等。参数的选择会影响测试结果的准确性和可靠性，需要根据数据特点和研究目的进行合理调整。
3.
多方法结合
：由于不同的测试方法各有优缺点，单一方法可能无法全面准确地检测结构突变。因此，在实际应用中可以结合多种方法进行综合分析，提高检测的准确性。
4.
计算资源
：对于计算复杂度较高的方法，如SADF，需要考虑计算资源的限制。可以采用并行化策略来提高计算效率，如在第20章中介绍的一些并行化方法。
案例分析
为了更直观地展示这些方法的应用效果，下面以E - mini S&P 500期货的美元棒序列为例进行案例分析。
数据准备
首先，获取E - mini S&P 500期货的美元棒序列数据，并进行必要的预处理，如去除缺失值、转换为对数价格等。
import pandas as pd
import numpy as np
# 假设data为原始价格数据
data = pd.read_csv('e_mini_sp500_dollar_bars.csv')
log_prices = np.log(data['Close'])
应用不同测试方法
- Brown - Durbin - Evans递归残差CUSUM测试
# 此处省略具体实现代码，可根据前文公式进行实现
- Chu - Stinchcombe - White水平CUSUM测试
# 此处省略具体实现代码，可根据前文公式进行实现
- Chow型Dickey - Fuller测试
# 此处省略具体实现代码，可根据前文公式进行实现
- Supremum Augmented Dickey - Fuller（SADF）测试
# 调用前文实现的SADF函数
minSL = 50
constant = 'nc'
lags = 2
result = get_bsadf(log_prices, minSL, constant, lags)
print(result)
- 次/超鞅测试
# 此处省略具体实现代码，可根据前文公式进行实现
结果分析
通过对上述测试结果的分析，可以判断市场是否存在结构突变，以及突变的时间点和类型。例如，SADF值的峰值可能对应着泡沫的出现，而次/超鞅测试结果可以反映不同趋势下的爆发性情况。同时，结合不同方法的结果进行综合分析，可以提高判断的准确性。
未来发展趋势
随着金融市场的不断发展和变化，结构突变检测方法也在不断演进。未来可能会出现以下发展趋势：
1.
多源数据融合
：除了传统的价格数据，还可以融合其他数据源，如新闻数据、社交媒体数据等，以更全面地反映市场情况，提高结构突变检测的准确性。
2.
深度学习方法的应用
：深度学习具有强大的特征提取和模式识别能力，可以应用于结构突变检测中，挖掘数据中的潜在信息。
3.
实时监测与预警
：实现对市场的实时监测和预警，及时发现结构突变并采取相应的投资策略，降低风险。
4.
跨市场分析
：不仅关注单一市场的结构突变，还可以进行跨市场分析，研究不同市场之间的相互影响和联动性。
总结与展望
本文详细介绍了金融市场中结构突变测试的多种方法，包括CUSUM测试、爆发性测试（如Chow型Dickey - Fuller测试、SADF测试）和次/超鞅测试等。这些方法可以帮助投资者更全面地衡量市场中的结构突变可能性，为投资决策提供有价值的参考。
在实际应用中，需要根据数据特点和研究目的选择合适的方法，并注意数据预处理、参数选择、多方法结合等问题。同时，随着金融市场的发展，结构突变检测方法也在不断创新和完善，未来有望实现更准确、实时的市场监测和预警。
通过不断学习和实践这些方法，投资者可以更好地把握市场机会，降低风险，提高投资收益。希望本文能为读者在金融投资领域的研究和实践提供有益的帮助。
扫一扫
1379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
