学计算机专业异构超算,超算系统的异构网络互连方法研究与实现

摘要：

自提出以来,Infiniband技术在高性能计算和存储领域得到了广泛的发展和应用,并迅速成为了超级计算机系统互连技术的主流.然而,云计算技术的飞速发展和多核处理器的广泛应用,对超级计算机系统的发展带来了巨大冲击.因此为进一步拓展超级计算机系统的应用范围,充分利用超级计算机系统的强大能力,对云计算的支持便成为了超级计算机系统发展的必然趋势.云计算平台通常依托以太网向众多互联网用户提供云计算服务,因此实现Infiniband网络和以太网的互连互通是实现超级计算机系统支持云计算必须解决的关键问题.另外,多核处理器已成为构建超级计算机系统的主流处理器,因此提供一个良好的报文并行处理模型,是充分发挥多核处理器的性能优势,实现Infiniband网络和以太网高速互连互通的重要保证.Infiniband网络和以太网属于异构网络,在协议数据报文格式,通信地址类型,传输机制,报文处理方式等多方面具有较大差异,同时多核处理器的广泛应用,对其互连互通的实现也带来了新的挑战.针对上述问题和挑战,通过对已有互连解决方案进行研究,本文提出了一种基于通用多核处理器的可扩展异构网络互连模型SHIL,并对SHIL模型的关键技术进行研究.本文的主要工作和创新点包括:(1)在研究现有异构网络互连解决方案的基础上,提出了可扩展异构网络互连模型SHIL.该模型充分利用通用多核处理器的并发处理能力,由多协议网关采用并行处理技术完成异构网络之间的协议转换和报文转发任务,以较低的成本实现异构网络间的高速互连互通.同时,模块化动态加载方式,使得该模型具有良好的可扩展性和灵活性,可以很容易的实现与新的异构网络之间的互连互通.(2)以以太网和Infiniband网络的互连为基础,对报文封装技术,仿真网络管理控制,通信地址映射转换技术,并行处理技术等SHIL模型的关键技术进行研究.提出了仿真网络控制协议,两级地址管理机制和基于通用多核处理器的并行收发机制,优化了异构网络间的通信性能,提高了异构网络的协议转换处理效率.(3)设计并实现了EIG网关原型系统,并基于EIG网关原型系统搭建了Infiniband网络和以太网互连的测试环境,对以太网和Infiniband网络之间的通信带宽和文件传输性能进行了测试.实验测试结果表明基于EIG网关原型系统实现的Infiniband网络和以太网互连网络具有较高的通信带宽和较好的文件传输性能.综上所述,本文针对超级计算机系统中异构网络互连互通的并行处理问题,提出的可扩展异构网络互连模型——SHIL模型,基于报文封装的透明转发机制简化了实现复杂度,提高了协议转换效率,其虚拟接口机制可以支持多种网络设备和应用,具有良好的功能可重构和性能可扩展特性.本文的研究成果对超级计算机系统中异构网络互连互通的并行处理具有一定的理论指导意义和实用价值.

展开