5、云计算在科学数据处理中的应用与架构研究

云计算在科学数据处理中的应用与架构研究

1. DESDynI 任务前的数据传输与架构研究

在分布式拓扑结构中部署数据密集型处理管道时，数据传输性能是一个关键因素。在 DESDynI 任务前的研究中，使用已部署的云服务器阵列来评估可用的数据传输技术，包括速度、安装简易性和配置选项等方面。
- 数据传输技术比较 ：
- FTP ：最常用，用作性能基线。
- SCP ：普遍存在，内置 SSH 安全机制，但可能有加密开销。
- GridFTP ：并行化 TCP/IP，安全性强，但安装和配置复杂。
- bbFTP ：并行化 TCP/IP，安装简单，有独立的客户端/服务器。
- UDT ：基于可靠 UDP 的突发技术。

通过在 JPL、AWS - West 地区的两个云服务器和 AWS - East 地区的一个云服务器之间传输两种代表性大小（1GB 和 10GB）的 NetCDF 文件进行基准测试。结果表明，UDT 和 GridFTP 在传输路线和文件大小方面总体性能最佳。UDT 比 GridFTP 稍快且更易于配置，但缺少 GridFTP 提供的安全功能（认证、加密、机密性和数据完整性）。此外，相同文件大小和传输端点的测量传输时间会有很大差异，可能是因为同一云平台上其他项目同时使用网络和硬件资源。使用 Amazon 内部网络在同一 AWS - West 地区的服务器之间传输数据，性能明显优于使用公共网络。