15、可扩展公平聚类机器学习方法在威胁评估中的应用

可扩展公平聚类机器学习方法在威胁评估中的应用

1. 相关背景

在当今社会，我们对电力和水分配系统等关键系统的依赖，使它们成为对手攻击的目标。同时，常与这些系统集成的物联网（IoT）网络也频繁遭受攻击，还会被用作恶意软件传播和分布式拒绝服务（DDoS）攻击的途径。机器学习研究人员一直在积极探索利用机器学习技术检测这些关键系统攻击的方法。

随着物联网系统的广泛应用，物联网设备中的恶意软件检测成为网络安全研究人员关注的焦点。不同的研究提出了多种检测方法，例如：
- 利用模糊和快速模糊模式树方法检测物联网恶意软件。
- 通过监测物联网设备的功耗模式来检测勒索软件。
- 基于两层降维和两层分类模块检测物联网网络中的入侵。
- 采用顺序模式挖掘方法选择最佳特征来训练机器学习模型，以检测具有多态代码的物联网恶意软件。

然而，使用机器学习时需注意避免输出结果出现偏差。例如，某医疗中心使用的算法在筛选重症监护患者时对黑人患者存在种族偏见。因此，应在算法中融入公平性考量，尽管可能无法达到 100% 的公平，但能实现的公平都应被纳入。

公平聚类的概念最早被提出，其通过将点集划分为满足公平标准的较小子集（公平集）来实现 k - 中心和 k - 中位数目标。后续研究在此基础上进行了拓展，包括研究低成本公平聚类问题、使用核心集改进公平 k - 均值聚类算法，以及将公平算法应用于隐私保护、资源分配和文本摘要等实际场景。

2. 研究方法

本研究使用四个不同的数据集来评估公平聚类机器学习模型，具体步骤如下：
- 数据集预处理 ：
- IoT 数据集