12、模型验证、检查、简化与选择

模型验证、检查、简化与选择

在处理复杂系统时，我们常常需要构建能够被分析和解释的模型。本文将围绕模型可解释性和模型选择展开，介绍相关概念、方法及标准。

1. 模型可解释性

在处理复杂系统时，由于其行为难以用第一性原理完全形式化，获取能够捕捉变量间相关性且可被用户分析和解释的模型至关重要。特别是在主要目标是产生见解和理解变量关系的建模任务中，推荐使用符号回归（SR）。这与主要需要准确预测模型而可解释性为次要考虑因素的任务形成对比。

机器学习中的可解释性难以量化，因此在模型开发过程中无法明确提升。实际做法是优化影响可解释性的属性，如模型大小或相关复杂度度量，并平衡这些属性与预测准确性。可解释性需根据具体应用定义，即赋予模型组件物理意义的能力。为量化这一属性，专家通常使用从领域知识得出的标准评估SR模型，具体如下：
- 结构约束 ：将假设空间限制在特定结构模式，通常在模型结构部分已知或为提高可解释性而强制规定时应用。
- 行为约束 ：涉及学习函数的行为或形状，如单调性、平滑性、关于自变量的导数性质等。
- 物理约束 ：基于物理合理性的更具体结构或行为约束，例如数学函数在维度上一致，表达物理量之间合理关系，或行为符合现有物理定律、理论或实验数据。
- 复杂度约束 ：降低复杂度是提高可解释性的重要目标。文献中有许多SR模型复杂度度量，通常涉及模型大小和形状、非线性函数存在情况、变量间相互作用或非线性函数嵌套级别。

这些约束可视为可解释性的初始要求，最终结果是否带来额外见解，取决于知