5、金融预测与大数据应用：现状、挑战与未来方向

金融预测与大数据应用：现状、挑战与未来方向

在当今的金融和科技领域，准确预测金融市场走势以及高效处理大数据应用是两个备受关注的重要议题。本文将围绕使用GA/SVR和BERT预测道琼斯工业平均指数（DJIA）以及大数据应用在大规模基础设施上的部署展开讨论，深入分析相关研究的结果、面临的问题以及未来的发展方向。

一、使用GA/SVR和BERT预测DJIA

1. 数据特征与模式分析
   • 对于未过滤收集的文章，无论是正/负文章的数量，还是净积极比率，都没有明显的模式。这种高度周期性似乎是工作日和周末发布差异的结果。周五报道的新闻除非在周日继续报道同一主题，否则不会被考虑。
   • 过滤后，总文章数量和净积极度仍然没有明显模式，但两者更倾向于极端值。净累积和显示与道琼斯相关的积极文章有明显增多的趋势，反映了这一时期的整体牛市行情。
2. 不同模型的预测效果
   • GA/SVR模型 ：使用GA/SVR时，未过滤的标题指标和对照组产生相同的均方根误差（RMSE）。这可能表明遗传算法（GA）对标题数据的权重分配极小，但需要进一步分析来证实。
   • SVR模型 ：仅使用SVR时，标题数量的预测效果往往优于净积极比率，且两者都优于不使用标题数据的情况。
   • KRR模型 ：核岭回归（KRR）在RMSE方面略微优于GA/SVR，明显优于SVR。
   <