2025_NIPS_Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Softw

文章核心总结与创新点

主要内容

该研究针对现有大语言模型（LLMs）在仓库级软件工程任务中依赖专有模型代理、存在数据隐私与定制化问题的痛点，提出了代码图模型（CGM） 与无代理图检索增强生成（Graph RAG）框架。通过将代码仓库的语义信息与结构依赖整合到开源LLM中，CGM在SWE-bench Lite基准测试中实现43.00%的问题解决率，位列开源模型第一、开源系统第二、整体第八，大幅超越此前最佳开源模型方案。研究还验证了CGM在Python/Java代码补全、跨文件代码生成等任务中的有效性。

核心创新点

1. 代码图与LLM深度融合：构建包含7类节点（仓库、包、文件等）和5类边（包含、调用、继承等）的代码图，通过语义整合（编码器+适配器映射节点属性）和结构整合（图感知注意力掩码替代传统因果掩码），让LLM同时理解代码语义与依赖关系。
2. 无代理Graph RAG框架：设计四模块（Rewriter、Retriever、Reranker、Reader）轻量化框架，无需复杂代理机制，通过子图检索聚焦关键代码实体，解决仓库级任务的长上下文与噪声问题。
3. 针对性训练策略：提出子图重构预训练（Graph-to-Code）与带噪