用ComputeEval 2025.2对AI生成的CUDA代码进行基准测试

用ComputeEval 2025.2对AI生成的CUDA代码进行基准测试

AI编码助手能否编写高效的CUDA代码？为了衡量和提升它们的能力，我们创建了ComputeEval——一个用于评估AI模型和智能体在CUDA编程任务上表现的、强大且开源的基准测试。

几个月前，我们发布了ComputeEval的第一个版本。今天，我们推出了其首次重大扩展，新增了超过100个CUDA挑战。

通过此次更新，数据集已扩展到总计232个CUDA和CUDA计算核心库（CCCL）问题。我们有意通过增加更困难的挑战来提高标准，这些挑战要求大语言模型使用现代CUDA特性，例如张量核心、高级共享内存模式以及warp级原语。新问题测试了模型正确编排CUDA图、流和事件等特性的能力，所有挑战都基于动态模拟等现实应用场景。

CUDA编程中的大语言模型性能

我们的团队评估了多个领先的大语言模型在ComputeEval上的表现，以建立基准性能指标并了解AI辅助CUDA编程的现状（表1）。

表1. 顶尖大语言模型在ComputeEval 2025.1和2025.2上的Pass@1准确率。最新版本引入了232个新的CUDA编程挑战，为AI辅助编码提供了一个更严苛的基准。

模型	ComputeEval 2025.2 (232个新问题) pass@1	ComputeEval 2025.1 (128个问题) pass@1
GPT-5 (medium)	0.5819	0.61
Claude Sonnet 4.0	0.5517	0.64
gpt-oss-20B (high)	0.5474	N/A
gpt-oss-120b (high)	0.5302	N/A
Claude Opus 4.0	0.5216	N/A
DeepSeek-R1	0.4397	0.55
gpt-oss-120b (medium)	0.4224	N/A
gpt-oss-20b (medium)	0.4224	N/A
gpt-oss-120b (low)	0.4052	N/A
DeepSeek-V3.1	0.3750	0.44
Llama 4 Maverick 17B 128E	0.3448	0.47
Llama 3.1 405B	0.3405	0.4
gpt-oss-20B (low)	0.3319	0.41

我们观察到，所有模型的得分在迁移到ComputeEval 2025.2后都有所下降。这并不表明模型能力在下降，而是反映出基准测试本身变得更具有挑战性。通过每次发布，我们都在为AI设定更高的标准，推动它展现出对加速计算细微之处的更深入理解。

后续计划与参与方式

我们将继续扩展数据集以及评估框架的功能。目前已经在开展将ComputeEval覆盖范围扩展到更多CUDA-X库的工作，包括cuBLAS、CUTLASS、cuDNN、RAPIDS等。我们邀请更广泛的高性能计算和AI社区来贡献和协作。可以在GitHub上探索代码，并在Hugging Face上访问数据集。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）