Improving Natural Language Capability of Code Large Language Model-优快云博客

本文是LLM系列文章，针对《Improving Natural Language Capability of Code Large Language Model》的翻译。

提高代码大语言模型的自然语言能力

摘要
1 引言
2 框架
3 方法
4 基准构建
5 实验
6 相关工作
7 结论
局限性

摘要

代码大型语言模型（Code-LLM）在代码生成方面表现出了显著的性能。尽管如此，大多数现有的工作都侧重于从编程能力的角度提升代码LLM，而它们的自然语言能力却很少受到关注。为了填补这一空白，我们提出了一个新的框架，包括两个模块：AttentionExtractor和AttentionCoder，前者负责从用户的自然语言需求中提取关键短语，后者利用这些提取的短语生成目标代码来解决需求。该框架通过将代码LLM与传统的自然语言处理工具无缝集成，开创了一个创新的想法。为了验证该框架的有效性，我们制定了一个新的代码生成基准，称为MultiNL-H，涵盖五种自然语言。大量的实验结果证明了我们提出的框架的有效性。

1 引言

2 框架

3 方法

4 基准构建

5 实验

6 相关工作

7 结论

本文提出了一个简单而有效的框架，包括AttentionExtractor和AttentionCoder，用于提高代码LLM的自然语言能力。该框架的本质在于LLM与传统NLP工具的无缝集成。为了彻底评估我们的框架，我们制定了一个面向多种自然语言的基准，即MultiNL-H。最后，大量的实验证明了我们框架的有效性和可移植性。在未来的工作中，我们希望研究如何在预训练和微调阶段实现我们的框架。