39、利用 Twitter 情感分析检测股市操纵

利用 Twitter 情感分析检测股市操纵

在金融市场中，检测资产时间序列中的异常现象一直是一个具有挑战性的问题。传统的异常检测方法，如 kNN 和随机游走，在精度和召回率方面存在一定的局限性。为了提高异常检测的性能，我们提出了一种结合 Twitter 情感分析的方法。

1. 改进的上下文异常检测算法

上下文异常检测（CAD）算法是一种无监督学习方法，用于在一组相似的时间序列中检测异常。具体步骤如下：
1. 选择时间序列子集 ：根据窗口大小参数选择时间序列的一个子集。
2. 计算质心 ：计算该子集的质心，代表该组时间序列的预期行为。
3. 预测时间序列值 ：利用质心值以及每个时间序列与质心的相关性来预测时间序列的值。

与 kNN 和随机游走相比，改进后的方法将召回率从 7%提高到了 33%，同时保持了精度。然而，在对标准普尔行业板块 40 年的每日和每周数据进行实验时，CAD、kNN 和随机游走的精度仅为 0.5%（基线小于 0.04%，因为数据中的异常数量在样本中所占比例极小）。为了解决这个问题，我们尝试通过聚合 Twitter 数据来减少 CAD 产生的误报数量。

2. 利用大数据技术改进异常检测

2.1 方法概述

我们采用大数据技术来改进 CAD 方法，通过消除误报来提高其性能。具体做法是开发一种形式化的方法，探索市场参与者对每个检测到的数据点的预期，利用这些信息过滤掉无关项（误报）。

2.2 案例研究流程

我们开展了一个