2025_NIPS_CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization

文章核心总结与翻译

一、主要内容

文章提出CATransformers——首个面向Transformer模型与硬件加速器的碳感知联合优化框架，聚焦边缘推理设备的碳足迹降低。框架整合运营碳（训练/推理能耗相关）与隐含碳（硬件制造/生命周期相关），通过多目标贝叶斯优化、模型评估器和硬件评估器三大组件，在保证精度和延迟的前提下实现碳减排。实验验证显示，该框架能使碳排放量降低最高30%，衍生的CarbonCLIP系列模型相比现有CLIP变体，碳足迹减少17%且精度持平或更优，适用于语言、视觉及多模态模型。

二、创新点

1. 首次将运营碳与隐含碳纳入统一优化目标，突破传统仅关注延迟或能耗的优化局限。
2. 提出模块化、可扩展的联合优化框架，支持模型架构与硬件加速器的协同探索，适配多模态模型等复杂场景。
3. 开发开源碳量化工具链，实现早期设计阶段对定制加速器的全生命周期碳足迹评估。
4. 提出CarbonCLIP系列多模态模型，验证了碳感知优化在实际场景中的有效性，为边缘设备AI部署提供可持续解决方案。

---

三、核心章节翻译（Markdown格式）

Abstract

机器学习解决方案正被快速采用以支持各类关键应用场景，从对话式AI助手到科学发现。这种日益广泛的应用预计将增加相关的全生命周期碳足迹，包括训练和推理过程中的运营碳，以及AI硬件制造产生的隐含碳。本文提出CATransformers——