12、AI与机器学习风险建模及合规考量

AI与机器学习风险建模及合规考量

一、风险建模指标与方法

1.1 群体漂移

群体稳定性指数（PSI）是衡量模型结果随时间稳定性的一种方法，它是传统统计或计量经济模型中已确立的指标，用于衡量两个分布（如当前群体和模型开发样本）之间的差异。PSI 通常可作为经验法则来解释，也可使用置信区间进行解释，后者可能更适合对机器学习模型进行持续监测。

1.2 特征漂移

群体稳定性指数也可用于计算特征层面的差异，即特征稳定性指数（CSI），它衡量模型特征的分布与开发样本的差异。评估人工智能或机器学习特征稳定性的另一种方法是通过自助法或随机扰动。具体操作步骤如下：
1. 可以通过子采样或随机扰动开发数据来创建 n 个数据集。
2. 将特征选择算法应用于这 n 个数据集，创建 m 个特征。
3. 通过确定 n 个数据集中所选特征的相似性来衡量特征的稳定性。

此外，还可以使用 t - 分布随机邻域嵌入（T - SNE）来计算。

1.3 稳健性、基准测试和回测

模型的稳健性指的是模型在新数据上的泛化能力。可以通过泛化、停止和剪枝方法来提高模型的稳健性，也可以通过交叉验证来评估过拟合情况。相关测试包括基准测试、回测和稳定性评估。
- 基准测试 ：将模型的结果与基准进行比较，例如基准样本可以来自初始时期的实施数据。
- 回测 ：将模型逻辑应用于历史数据，以评估预测值相对于实际值的稳定性。

传统模型可以作为人工智能和机器学习的基准，在相同的主要假设下开发基准模型，然后测量和比