
英国最强AI超算Dawn高温停摆事件
最近欧洲人疯抢中国空调的消息相当火热,但有一种观点认为最需要空调的可能是AI超算。远在英国,英国最强AI超算之一的Dawn,在30多度高温下,直接瘫了整整一周。这台坐落在剑桥大学的超算,是英国政府3亿英镑国家AI算力计划的核心组成部分,拥有1024块Intel GPU,256台液冷服务器,已经支撑了超过350个科研项目。今年1月,它刚拿到3600万英镑的扩容升级,预计性能将提升6倍。然而6月底,一波热浪来袭,它就歇菜了。
事件背景与经过
今年6月,英国遭遇了有记录以来最猛的六月热浪。6月26日,诺福克地区的林伍德镇热到了37.7°C,打破了1957年和1976年保持的35.6°C六月纪录。英国气象局罕见地发布了连续三天的红色极端高温警告,1000多所学校停课,铁路信号因高温故障,公路路面开始融化。到6月27日,随着当日热浪峰值降临,Dawn超算所在的剑桥西区数据中心冷却系统顶不住了(林伍德和剑桥都在英格兰东部,相距大约103公里),Dawn就此停摆。
超算停摆的影响
事件发生后,剑桥大学发言人表示Dawn遭遇了热天气期间的技术问题,冷却能力已完全恢复,预计访问将于7月6日重新开放。从6月27日到7月6日,Dawn整整「冷却」了一周多。这对一台每小时都在烧钱、每一秒都在推进科研进度的超算来说影响巨大。剑桥大学Vendruscolo教授的团队正在用Dawn做帕金森新药分子筛查,Dawn的机器学习能力可以在几天之内筛查数十亿个分子,寻找能与帕金森相关蛋白聚集体结合的化合物,若用传统方法则半年起步,花费数百万英镑,且只能覆盖Dawn几小时就能扫完的一小部分。停机一周意味着这条救命流水线直接停转。牛津大学的Lennard Lee,英国癌症疫苗AI与超算项目的负责人,他的团队拿到了Dawn 10000个GPU小时的算力配额,用AI加速个性化癌症疫苗的靶点发现。虽事后Lee表示没有数据丢失,也不需要重做工作,但他话语中的庆幸说明了问题的严重性。此外,英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了,剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了,Dawn上面跑的350多个项目几乎无一幸免。
责任归属与问题分析
Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事后,USystems声明其设备在整个事件中完全按照设计规格运行,表现正常,即散热崩了但不赖他们,设备本来就不是按这个温度设计的。英国六月的历史极端温度只有35.6°C,Dawn的冷却系统大概率就是按这个量级设计的,37.7°C超标了,且这个「超标」来得毫无预警,因为上一次达到这个纪录还是在接近50年前。同一周,英国朴次茅斯的Queen Alexandra医院冷却机组故障,宣布紧急事件,手术室、心导管室、影像科都停了,医院让患者自带大量饮用水;诺福克与诺里奇大学医院(简称NNUH)更惨,所有MRI扫描仪的冷却系统因高温高湿全部失灵,至少254个门诊被取消。所以从某种程度上而言,不是超算脆弱,而是英国的整个温控基础设施都没为这种天气做好准备。
散热瓶颈与连锁反应
Dawn被热瘫这件事放在更长时间线上看并不意外。2022年7月,英国遭遇当时的史上最热天(40.3°C),Google伦敦数据中心的冷却系统「多个冗余系统同时失效」,被迫关机保护硬件,Google Cloud伦敦区域服务中断超过18小时才完全恢复;Oracle伦敦南区数据中心同天瘫痪,其声明用了「非季节性高温」一词。2022到2026,4年过去了,类似事件再次上演。实际上,30多度搞瘫一台超算,最难突破的瓶颈就是散热。尤其对欧洲地区来说,设备普遍采用自然冷却,受限于室外自然温度。所有散热系统最终都要把热量倒给室外空气,室外空气温度是整条链的终极瓶颈,链路为芯片把热量传给散热器,散热器传给冷却液或空气,冷却液传给冷却塔,冷却塔传给大气,大气是最后接盘侠。当大气温度达到37°C时就开始接不住了,当室外温度从20°C飙到37°C,冷却塔和干冷器的散热效率可能骤降40%到50%。而且压缩机在高温下效率下降、电流升高,容易过热跳闸,Oracle 2022年的事故报告就提到两台冷却机组在被要求超出设计极限运行时发生了故障,Dawn这次情况合理推测可能也类似。它用的Dell PowerEdge XE9640服务器配备了直接液冷系统,比传统风冷先进得多,但液冷解决的是机架内部的效率,热量最终仍要传递到室外大气,受制于室外温度。冷却系统一旦停摆,后续会导致连锁反应,研究数据显示冷却系统停机5分钟内服务器入口温度就能从22°C飙升到35°C以上,芯片会启动自保,先降频,主动降低运行速度减少发热,性能暴跌;如果温度继续涨,超过安全阈值,就会强制关机。运营商这时只有让设备自己断电(可能损坏数据)和主动有序关机(保护硬件但业务停摆)两个选择,Google、Oracle、剑桥Dawn都选了后者。
AI发展与散热难题
随着AI数据中心不断「膨胀」,温度对AI的影响可能会越来越显著。传统数据中心一个机架的功率密度大约5到10千瓦,但AI训练机架已经到了30到50千瓦,Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦(下一代Rubin可能到600千瓦),一个AI机架100千瓦的发热量相当于在一个电话亭大小的空间里同时开50台电暖器。而且GPU本身正在变得越来越「热」,2017年的Nvidia V100大约300瓦,2023年的H100跳到700瓦,2024年的B200达到1000瓦,2025到2026年的B300和AMD MI355X直接拉到1400瓦,七年时间,单芯片发热翻了3到5倍。所以,不管是从数量还是单个芯片来讲,随着AI变强,它就越怕热、越需要散热。至此能发现两条正在对撞的曲线:芯片在指数级变热,地球也在加速变热,事情变得更加棘手。Google早在2011年就跑去芬兰建数据中心,Meta去了瑞典北部,马斯克更是想到要去太空建AI数据中心。但英国政府今年1月刚给Dawn砸了3600万英镑扩容,还在规划爱丁堡的新国家超算,这些设施的散热设计是按上一个时代的英国夏天算的,还是按正在到来的新常态,谁也说不好。但可以确定的是,用来预测气候变化的超算,被气候变化热停了,这是AI时代基础设施面临的真实课题。
28



被折叠的 条评论
为什么被折叠?



