7、机器学习系统的安全威胁与防范

机器学习系统的安全威胁与防范

1. 机器学习安全概述

机器学习在众多领域都有成功应用，计算机和系统安全领域也不例外。大多数非基于签名的检测系统都以机器学习为核心，像垃圾邮件、恶意软件、网络入侵和欺诈活动检测等。与传统基于签名的系统不同，机器学习具备泛化能力，学习算法能对未见过的样本进行预测。

然而，机器学习技术也存在被滥用的可能，这为网络犯罪分子开展非法且高利润的活动提供了新机会。机器学习算法容易受到攻击，攻击者可利用其漏洞获取巨大利益。实际上，机器学习可能是安全链中最薄弱的环节，攻击者能利用其漏洞破坏整个基础设施，比如注入恶意数据来毒害学习过程，或者在测试时操纵数据以逃避检测。

这些攻击并非仅仅是理论假设，在现实系统中已有相关报道，如杀毒引擎、垃圾邮件过滤器以及虚假资料和假新闻检测等。这促使人们对机器学习的安全特性展开研究，由此，对抗性机器学习这一研究领域逐渐兴起，它旨在了解现有机器学习算法的漏洞，并开发更安全的新算法。

2. 威胁模型

分析系统的漏洞和安全方面，首先要定义合适的威胁模型。下面将从攻击者的能力、目标、知识和策略等方面来详细介绍威胁模型。

2.1 攻击者能力带来的威胁

攻击者破坏机器学习系统的能力可根据其对学习算法所用数据的影响以及数据操纵约束来定义。
- 攻击影响 ：
- 因果攻击 ：攻击者能注入或操纵学习算法使用的训练数据。当用于训练学习算法的数据不可信时，就可能发生中毒攻击。比如，许多系统和在线服务依靠用户数据和反馈来训练和更新学习算法，攻击者可提供恶意信息逐渐毒害系统。