5、统计学习方法在工程与回归问题中的应用

统计学习方法在工程与回归问题中的应用

1. 预测模型对比

在预测模型方面，不同方法有着不同的表现。以季节调整数据和预测验证为例，AR(18)预测和结合季节调整与AR(2)模型的预测进行对比。在验证期内，AR(18)预测的平均平方预测误差为1.12，而结合季节调整与AR(2)模型的预测误差仅为1.03。并且，后者仅依赖两个系数估计，模型更简单，不易过拟合。

2. 机器学习的不同方法

• 黑盒方法 ：许多机器学习应用未使用待分析数据的特定信息，常因缺乏相关知识。这类方法虽能解决问题，但如同黑盒，我们仅观察输入输出，对其关系和结果满意原因及时机了解模糊。在工业应用中，黑盒方法常因缺乏大量训练数据而受限，工程场景中训练样本通常为中小规模。
• 白盒方法 ：与黑盒方法相反，白盒方法基于物理或化学原理及工程专业知识，用相对简单函数建模输入输出关系。但在理想实验室实验中表现良好的白盒方法，应用于大规模工业过程时可能效果不佳，因工业过程更复杂，涉及更多变量，且并非所有变量都在实验者控制之下。
• 灰盒方法 ：灰盒方法，即物理信息机器学习，结合了两者优势。利用工程师提供的关于数据生成过程和科学理论的知识，以及机器学习的灵活性，即使从较小数据样本也能训练出良好算法。以回归为例，可先使用成熟的白盒模型，将其拟合训练数据，若实际情况比模型复杂，可分析白盒方法的残差，用黑盒方法学习未知函数，最终预测值由基于物理原理的部分和处理复杂系统不可解释特征的部分组成。

除灰盒模型外，还可将工程师经验融入统计学习系统。