26、网络数据测量的收集与分析挑战

网络数据测量的收集与分析挑战

1. 引言

在研究互联网性能时，一大挑战是如何从网络中足够多的位置收集大量可靠的网络测量数据。近年来，已经开发了一些独立工具来收集此类信息。

为了研究和监控互联网接入链路的性能，Neubot 软件应运而生。它运行在用户计算机上，定期监控用户与互联网连接的性能，并将结果收集到用户设备上，同时在中央服务器上公开，方便各方持续监控互联网状态。

自 2012 年 2 月 9 日起，Neubot 由 Measurement Lab（M - Lab）托管。M - Lab 为开源网络测量工具提供服务器端资源，其全球服务器网络使 Neubot 能有效测试客户端宽带接入网络的性能。此外，未来还将发布 Neubot 的移动版本，预计移动互联网设备数量将在 2014 年底超过桌面设备。

随着 Neubot 每天进行大量测量，测量网络的问题逐渐演变为管理可用数据以用于存储、查询和分析的问题。虽然目前可利用 M - Lab 提供的 Google Cloud Storage 和 Google Big Query 平台解决部分存储和查询问题，但要深入分析测量数据并实时洞察互联网和用户连接行为，还需要更灵活的解决方案。

2. 数据收集架构

Neubot 的架构由运行在用户计算机上的代理和一组服务器组成，服务器包括主服务器、测试服务器和存档服务器，它们在 M - Lab 网络的不同位置可能存在多个副本。
- Neubot 代理 ：作为系统服务在后台运行，定期检查主服务器，以了解下一次要执行的测试以及使用哪个测试服务器。
- 主服务器