40、迈向安全机器学习生命周期的 ESG 模型卡片

迈向安全机器学习生命周期的 ESG 模型卡片

1. 模型设计层

1.1 设计反思（E 支柱）

计算需求高的模型会产生显著的碳成本。在建模过程中，时间和空间复杂度取决于假设空间和优化阶段。假设空间包含观测集、特征空间和建模方法集，这构成了结构成本；优化阶段则涉及模型架构、学习算法和超参数优化（HPO）的约束，它在约束条件下寻找能使目标函数达到最优的假设空间子集，形成算法成本。

为减轻计算负担，可采取以下三种方法：
1. 减少假设空间，例如使用迁移学习。
2. 简化模型结构，例如进行量化。
3. 加速优化过程，例如采用成本节约优化方法。

同时，要保证泛化误差在合理范围内，即分配计算预算，在不牺牲方差偏差权衡的前提下去除复杂性。大型神经网络可以揭示出同样能良好泛化的轻量级结构，即使模型打包不能在训练期间减少计算债务，也能为更快的推理铺平道路，因此建议应用简约原则。

1.2 处理模型的致命弱点（S 支柱）

即使模型整体性能良好，某些子群体可能仍有较高的错误率，这可能是由于建模数据缺乏代表性。例如，胸部 X 光成像数据集中的性别不平衡可能导致分类器产生偏差。为解决公平性问题，可研究数据预处理、模型处理中或预测后处理技术，如拒绝选项分类。

在安全和隐私方面，机器学习模型容易受到对抗攻击，攻击方式因攻击者的目标而异。模型提取和成员推理攻击会危及机密性，分别通过 API 探测威胁组织的知识产权或使个人隐私面临风险。为防止敏感信息泄露，可在训练期间使用差分隐私，如在深度学习模型中使用差分隐私随机梯度下降（DPSGD），但这会降低模型性能，需根据目标应用决定效用和隐私的最佳权衡。 <