Improving Natural Language Capability of Code Large Language Model

本文是LLM系列文章，针对《Improving Natural Language Capability of Code Large Language Model》的翻译。

摘要

代码大型语言模型（Code-LLM）在代码生成方面表现出了显著的性能。尽管如此，大多数现有的工作都侧重于从编程能力的角度提升代码LLM，而它们的自然语言能力却很少受到关注。为了填补这一空白，我们提出了一个新的框架，包括两个模块：AttentionExtractor和AttentionCoder，前者负责从用户的自然语言需求中提取关键短语，后者利用这些提取的短语生成目标代码来解决需求。该框架通过将代码LLM与传统的自然语言处理工具无缝集成，开创了一个创新的想法。为了验证该框架的有效性，我们制定了一个新的代码生成基准，称为MultiNL-H，涵盖五种自然语言。大量的实验结果证明了我们提出的框架的有效性。

1 引言

2 框架

3 方法

4 基准构建

5 实验

6 相关工作

7 结论

本文提出了一个简单而有效的框架