15、基于广义回归神经网络的数据流非参数回归模型

基于广义回归神经网络的数据流非参数回归模型

1. 引言

在数据流挖掘的监督学习算法领域，模式分类方法占据主导地位，处理非平稳回归的方法相对较少。目前多数相关方法依赖高斯或马尔可夫模型，将支持向量机（SVM）或极限学习机（ELM）扩展到回归问题，或者采用回归树、多项式回归来处理非平稳环境下的任务。以下是对这些方法的简要介绍：
- 高斯过程回归 ：
- 为解决大规模和非平稳数据集问题，有方法提出基于K近邻的卡尔曼滤波器用于高斯过程回归（KNN - KFGP）。该方法分三步：首先，通过测试输入驱动的K近邻机制将训练集分组；其次，以这些分组的潜在函数值作为未知状态，构建具有高斯过程先验的状态空间模型；最后，利用卡尔曼滤波器在该状态空间模型上进行预测，以有效过滤出潜在函数值。
- 还有作者提出两种低计算和内存需求的在线高斯过程回归方法。第一种假设超参数值已知，在存储潜在函数均值和协方差估计的一组基向量上进行回归；第二种则额外在线学习超参数，利用非线性高斯状态估计技术。
- 马尔可夫切换回归 ：有研究对马尔可夫切换回归和时变参数方法进行比较，其创新点在于通过优化交易活动的利润目标函数来选择检测方法的系数，并基于滑动窗口开发了一种顺序方法来应对马尔可夫切换系数的时变性。
- 支持向量回归（SVR） ：有研究提出一种结合特征向量选择、增量和减量学习的成本高效在线自适应学习方法。该方法仅在检测到不同模式漂移时才自适应修改模型，并引入两个容忍参数来控制计算复杂度、减少数据固有噪声的影响以及避免SVR的过拟合问题。此外，还有基于SVR的集成模型。
-