Energy-Aware Code Generation with LLMs: Benchmarking Small vs. Large Language Models for Sustainable

文章主要内容与创新点总结

一、主要内容

1. 研究背景：大型语言模型（LLMs）在代码生成领域应用广泛，但如ChatGPT等商业模型需大量计算资源，导致高能耗与碳排放，引发环境影响担忧；小型语言模型（SLMs）因参数少、结构简单，在训练和推理阶段能耗与内存占用更低，为LLMs提供了潜在替代方案。
2. 研究目标：探究SLMs在特定编程任务中能否匹配LLMs的性能，同时生成更具能效的代码，明确SLMs可作为LLMs节能替代方案的场景。
3. 实验设计
   • 数据集：选取LeetCode上150道Python编程题，均匀分布于简单、中等、困难三个难度等级，且均有社区验证的优质人类编写解决方案作为基准。
   • 模型选择：3个开源SLMs（StableCode-3B、StarCoderBase-3B、Qwen2.5-Coder-3B-Instruct）与2个商业LLMs（GPT-4.0、DeepSeek-Reasoner）。
   • 评估指标：代码正确性、运行时间（毫秒级）、内存占用（千字节级）、能耗（毫瓦时级），在隔离的Linux环境（Google Cloud Compute Engine的c2-standard-8虚拟机）中进行实验，每个代码样本运行10次并设置5秒冷却时间以保证数据可靠性。
4. 实验结果