14、数据隐私与安全：从概率推理到机器学习实践

数据隐私与安全：从概率推理到机器学习实践

1. 事件响应与概率推理

在数据安全领域，提前制定事件响应计划至关重要，它能让应对事件的过程更加有序，减少混乱和错误。在防御查询机制、API和模型免受攻击时，我们需要思考合理的预期以及如何确定已具备足够的隐私和安全保护。

概率推理在分析攻击风险时非常有用。“平均攻击者”的概念是有缺陷的，就像人群中很难有“平均用户”一样。在进行威胁建模时，我们可以根据价值（如财务或声誉风险/回报）和可能性对潜在攻击向量进行排序，而对概率的理解能帮助我们完成这一过程。

人类在缺乏实际数据的情况下，对事件可能性的推理能力较差。研究表明，即使是安全专家，在不同时间对同一风险场景的评估也可能不同。这意味着当前组织对风险的分类方式存在很大的可变性，“平均风险”的概念也会导致对弱势群体的过度暴露。

2. 风险测量与威胁评估

常见的风险矩阵试图对风险进行映射和划分，但由于输入往往存在个人偏见和高度不确定性，其效果并不理想。作为数据科学家，可以通过观察、实验和科学探究来降低不确定性。当有历史数据时，数据科学工具可以帮助评估威胁和测量风险；但在缺乏专家支持、不确定性高且信息不足的情况下，可能难以提供有效帮助。

当前安全社区正推动创建更可量化的风险场景，我们可以通过分析复杂问题或威胁的相关变量，识别经常变化和相对稳定的变量，并利用开放数据或内部数据来评估这些变量随时间的分布情况。

例如，在安全研究中，建模实验已被证明非常有成效。像最初发现Rowhammer（一种利用动态内存漏洞的攻击方式）的研究，就揭示了之前被认为罕见的威胁实际上发生的频率更高。通过建立数据驱动的安全实验来验证威胁，可以确保模