47、大数据在计算机网络监控与文化遗产领域的应用

大数据在计算机网络监控与文化遗产领域的应用

1. 大数据在计算机网络监控中的应用

1.1 数据获取与处理工具

PStream 提供了将实时 BGP 数据源连接到 API 和应用程序的工具和库。BGPStream 可高效地将在线数据引入流处理解决方案，如 Spark Streaming。

1.2 数据分析挑战与解决方案

网络测量的管理只是网络监控应用的起点。当前，数据分析方法在处理大数据时面临挑战，例如一些机器学习算法在处理大型数据集时扩展性不佳，或难以并行化。选择适合特定网络监控问题的最佳算法是一项复杂的任务。

近年来，Venerio 和 Casas 提出了一种适用于大数据的网络安全和异常检测解决方案，该方法基于超级学习器，这是一类集成学习技术，其渐近性能与基础学习器的最佳组合相当。此外，Liu 等人、Fontugne 等人和 Wang 等人也开始基于 MapReduce 或 Spark 实现分析方法来处理大量测量数据，但网络监控的大数据分析工作仍处于起步阶段。

1.3 研究方向

• 数据框架整合 ：目前，网络监控社区主要关注 KDD 过程的初始阶段，如数据收集和预处理。然而，这些努力较为孤立，需要将经验教训融入框架，以方便处理其他数据源，并实现 API 和库的复用。例如，Apache Spot 提出了一个开放数据模型，以促进不同测量数据的集成。
• 编程模型统一 ：网络监控需要在线流分析和离线批处理分析，因此研究方向之一是统一这两种编程模型。Apache Beam 基于数据流抽象，提