高性能计算HPC脱去贵族外衣

作者：魏珺
原文：http://www.cioinsight.com.cn/html/article/2009/06/1688.html

 

　　随着科技的不断进步，过去仅仅是在气象、地质勘探、空气动力学等科研领域应用的HPC，现今更趋于“平民化”，高性能计算(HPC)正在3D动画、生物制药、汽车设计等商业领域大展拳脚。

　　谈到高性能计算，最为典型的代表莫过于气象、地质勘探行业的应用。气象行业中高性能计算主要应用在数值预报模式中的业务运算研究以及研制开发上。所谓数值预报即根据大气实际情况，在一定的初值和边值条件下，通过大型计算机作数值计算，求解描写天气演变过程的流体力学和热力学的方程组，预测未来一定时段的大气运动状态和天气现象的方法。

 

　　根据天气动力学原理，用十几个偏微方程组来描述大气的物理运动状态。用数值解将空间分成若干个等距节点，把大气从水平到垂直切割成立体网格，通过对网格中每个立体方格的气压、温度、湿度、风的尾向、静止方向以及垂直方向六要素的搜集，用偏微方程进行解析解。“数值预报的计算量很大，可以毫不夸张地说，无论性能再好，运算能力再强的计算机拿过来在气象行业应用，过不了多久就能让它负荷满满。” 国家气象局信息中心副总工沈文海这样形容道。

 

　　数值预报模式一方面计算复杂性高，另一方面需要计算处理的原始数据量大。首先对于原始计算数据来说，风云三号极轨卫星一条扫描带绕地球纵向转一圈的数据量就有3G左右，极轨卫星每天数据采集量达到100G之多。而风云一号、二号静止卫星的数据量每天约有10G。此外雷达预报中，每个雷达每天的数据量都在5G左右，一年的数据增量在100-200TB之间。如此大的数据量都需要借助高性能计算实时分析。

 

　　其次，气象行业计算复杂性高、计算量大，多年来已成为高性能计算应用的主要用户。例如：对于气候的评估，用若干个模式来评估青藏高原未来五十年至一百年以后的气候状况，以了解未来青藏高原的温度是否升高，冻土层是否会融化。“这些都需要我们对以往所有该地区气候资料的搜集，进行数据分析，建立模型，并最终作出评估，确实离不开对数据的计算。”沈文海解释道。

 

　　同样，甘肃省气象局面对当地一些区域树木干枯、河水断流的现象进行分析，根据数据的计算发现造成干旱的根本原因是雪山融水的减少。由于气候变暖，山上积雪量减少，雪山上的融水减少，造成积水渗透到地下水中量减少，地下水会以某种形式转变成泉水，再由泉水汇集成河流，由于最终水源积雪融水的减少，使得这些区域变得干旱。

 

　　“现在对于气候模式数值预报正在发展中，不同模式每种模式都需要计算，即便同一模式下，由于观测密度不同计算量也不一样。”沈文海讲道。例如：同一种模式下1度×1度是一种算法，0.5度×0.5度又是一种算法，而且每缩小一倍，计算量增加4倍。这仅仅是水平切割，再加上垂直划分，计算量以数量级的规模增加。因为对于整个大气网格划分越密，监测越细致，对于某一地区灾害性天气的预测就越准确。

 

　　此外，除了借助高性能计算对气候做长期跟踪以外，还对某地区短时间内的天气进行预测。例如：冰雹这类灾害性天气可以对积云密度的分析，该地区空气对流的强度的计算进行预测。

 

　　同样在科研领域中，南京大学较早将高性能计算机应用在大气科学、地球科学、生命科学、以及物理、化学领域的研究。“从国内外最近这十多年的发展来看，计算科学在科学研究当中所起的作用越来越大，除了流体动力学在工业领域的应用外，生命科学和材料科学是两个发展最迅速、应用最广泛的领域。” 南京大学地球科学与工程学院、江苏省计算机学会高性能计算专业委员会主任委员周会群教授谈到。

 

　　“高性能计算还在改变着一些传统科学领域的面貌。对于地球科学，过去人们的印像是，拿着榔头到野外去敲敲石头，拿显微镜看看。而现在我们可以用高性能计算机来分析地球内部的物质结构。” 就高性能计算对科学研究的影响，周会群教授这样说到。

 

　　同样在物理化学领域，对于一些功能性的材料添加某种物质后，它的物理性质：力、热、声、光、电、磁性质是否发生奇异的改变，这些都可以借助通过计算得出。再比如说生命的奥秘——基因序列的测定，蛋白质自组装机制的探索，如何能够最有效地、最节省成本地开发一种新药？这些都离不开高性能计算机的应用。

 

　　对于能源勘探行业，更是高性能计算应用的传统行业。“我们通过人工爆破，在地面部置检波器，当爆炸声传到地下后遇到不同物质界面会反射回来，我们通过搜集反射波，并利用高性能计算机对其进行分析，了解地质构造。” 中海油能源股份有限公司采油工程研究院朱晓欣谈到。借助高性能计算及处理大量石油勘探数据，对盆地目标造影，了解地下资源分布状况。

 

　　不管是天气预报还是能源勘探，对于任何数据的分析都离不开高性能计算，而现今高性能计算正在从这些传统应用领域走向更广的商业领域应用中。

 

　　解决 SOLUTION

　　目前国家气象局是国内比较大的计算中心之一，其中在04年引进美国IBM Cluster1600集群式计算机，峰值处理能力达到21万亿次，持续处理能力在7万亿次，是目前国家气象局最大的高性能计算机，拥有3000多个CPU，100多个点。

 

　　在数值预报中，高性能计算机最主要的工作就是资料同化。当搜集所有资料后，把信息标准化，在计算上分为边界场和初始场，相当于把所有数据放在每个格子里进行运算。

 

　　“数据来了以后，我们首先把信息按照某一模式放在格点上，并插到相应的要素(气压、温度、湿度、风的尾向、静止方向以及垂直方向)上，经过不同模式的计算产生不同的数值预报产品。”沈主任解释道。

 

　　“但是在国际上，数值预报模式全球共享，而数值同化模式却是保密的，中国目前与国外气象预报水平的差异也在这里。”沈主任补充道。

 

　　实际运算中，由于计算资源有限，一般是嵌套运算。首先计算出国家级全球背景场预报模式，平均每6小时计算一次，时间分布一般是24：00、06：00、12：00、18：00四个时段。高性能计算机一天24小时不停运转，在每个时段执行不同计算任务。

 

　　各省级气象预报会在国家气象局全球背景场模式预报基础上，根据这些预报资料作为自己计算的初始场和边界场，进行区域天气预报计算。同时国家气象局对于各地区气象预报拥有终审权利，每晚天气预报都会先报到国家气象局经过审核后再发布。

 

　　对于特殊天气的预报，临近预报模式由各地气象局自己负责。例如北京气象局针对奥运期间每小时的精确预报，通过在具体区域对空间尺度更细的划分进行检测，并对检测结果进行计算了解该地区短时间内天气活动状况。

 

　　面对不断增长的高性能计算需求，南京大学计划在09年7月份建成高性能计算中心。“该计算中心采用IBM刀片处理器，英特尔至强5500系列芯片，理论计算峰值达到35万亿次，实际计算能力估计约为27万亿次。”周教授介绍到。该计算中心是全校共享，通过超高速网络—InfiniBand，带宽可以达到每秒20GB，来缩短交换信息的过程。

 

　　“因为我们做高性能计算的时候，都是把计算任务分布到很多台计算机上，在很多的CPU上进行计算，每一个CPU只是去负责这个问题其中一小部分，但是这一个小部分跟很多在其他计算机上、在其他的CPU上计算的那些部分相互之间有关联，因此就需要交换信息的过程越短越好，加快计算速度。”周教授解释道。

 

　　“石油勘探开发中主要是地震资料的处理，首先地震资料存储在磁带上通过磁带机加载到工作站上，人员对磁带机进行初步的分析，对初期资料进行归纳整理然后传到服务器上，服务器进行整体分析运算，最终的处理结果返回到单机上。”朱晓欣谈到。目前中海油能源股份有限公司采油工程研究院高性能计算中心采用集群式计算机，其中最大的计算机共有96个CPU，并且整合在一个机柜，支持多线程计算及内存共享，根据计算量大小自动调控CPU。

 

　　实际计算中，数据采集上来存储在磁带库中，经过前期处理后建模，经过服务器具体运算，同样数据经过多次反复计算，最终形成地质剖面图。除了以上传统领域应用高性能计算以外，在汽车安全模拟分析，对一些整车正面和侧面及乘员安全性分析；疲劳耐久性分析，汽车外流场数值模拟；空调系统CFD分析与优化等方面高性能计算也发挥着重要的作用。同时对于汽车钢板的性能进行模拟计算，钢液流动模拟计算机并行程序开发，以及高炉结构性能全三维分析等等。

 

　　此外大家熟知的3D动画中也有高性能计算的身影。比如说渲染农场的应用，渲染农场是一个计算机群，用于渲染这种CGI的图像，主要用于电影或者电视广告当中一些现实场景无法拍摄，只能通过虚拟或者仿真的方式，达到一个影视的特效结果。

　　在这里是一个计算量随着视频的分辨率还有它的变化的趋势图。最低是标准清晰度的视频，我们日常看到的电视的标清的分辨率的图片，一个15秒的广告，一台主流的两路双核的服务器，就需要31小时进行渲染。若是高清视频，或者电影要求的画面质量，在影院放映的高分辨率视频的话，一部1.5小时的电影一台服务器需要7500天才能渲染完毕。由此可见计算量是非常大的。

 

　　挑战 CHALLENGE

　　高性能计算在在随着性能不断提升的同时，其能耗问题日益受到关注。此前国家气象局一台IBM Cluster1600每天的电费就在8万元人民币左右，一年下来仅电费就要花费1000多万元。

 

　　在保证性能的同时，南京大学新建的高性能计算中心充分考虑到能耗问题，从最初机房设计开始构建一个绿色高性能计算中心。“传统的IDC的中服务器前面吸进冷空气后面排除热气，冷热空气没有间隔，混合在一起通过通风系统抽走。对于CPU利用率很低的一般企业数据中心来说，这样的设计并无大碍，但是对于高性能计算中心来说，一旦计算任务上去，CPU均为满负荷，发热量剧增，能耗惊人。”周教授强调到。

 

　　南京大学从最初设计就分成冷热走道，冷热空气不混合，通过机房物理设计减少温控的能耗。“一般我们的机房空调温度都在18度左右，我参观过日本东京工业大学的高性能计算中心，那里空调温度居然在27度。对于大规模的数据中心来说，温度降低一度都能节省大量能源。”周教授谈到。

 

　　如果说南京大学面临的是能耗问题，那么对于国家气象局来说计算资源的紧缺是一个长期困扰的问题。“欧洲气象中心天气预报模式全球公认最好，在那里业务运算中的70%计算资源用于同化资料处理，30%用于数值预报，而我们正好相反。他们平常的计算资源60%以上用于科研，只有40%用于具体业务运算，而我们对于仅有的计算资源首先保证业务运算其次才是科研运算。”沈文海谈到。

 

　　由于计算资源的紧张，严重制约了中国气象行业的发展。由于气象行业体制的问题，对项目审批管理方式的问题，造成重视购买计算设备忽视购买计算资源。传统观念认为计算资源是一个无形产品，不认同购买计算资源的形式。

 

　　同时由于高性能计算硬件发展速度较快，反而软件的速度远远落后于硬件速度，又由于软件设计本身的好坏直接影响硬件计算能力，使得石油勘探行业中过于依赖国外软件，缺少自己软件开发能力。造成硬件计算资源由于软件的阻碍而不能发挥出应有的计算能力，一定程度上造成计算资源的浪费。