Large Language Models Meet NL2Code: A Survey

最新推荐文章于 2025-08-14 09:20:40 发布
最新推荐文章于 2025-08-14 09:20:40 发布
阅读量804 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133879862
Survey Paper 同时被 2 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文详尽调查了27个NL2Code的大型语言模型，揭示了其成功的关键因素——大规模、优质数据和专家调优。同时，分析了基准、指标、挑战与机遇，并创建网站https://nl2code.github.io跟踪最新进展。

本文是LLM系列文章，针对《Large Language Models Meet NL2Code: A Survey》的翻译。

大语言模型遇到NL2Code：综述

摘要

从自然语言描述(NL2Code)生成代码的任务被认为是代码智能中一个紧迫而重要的挑战。由于预训练技术的快速发展，大量的大型语言模型被提出用于代码，激发了NL2Code的进步。为了促进该领域的进一步研究和应用，在本文中，我们对NL2Code的27个现有大型语言模型进行了全面调查，并回顾了基准和指标。我们在HumanEval基准上提供了对所有现有模型的直观比较。通过深入的观察和分析，我们提供了一些见解，并得出结论，促成NL2Code大型语言模型成功的关键因素是“大尺寸、优质数据、专家调优”。此外，我们还讨论了关于模型与人类之间差距的挑战和机遇。我们还创建了一个网站https://nl2code.github.io，通过众包来跟踪最新的进展。据我们所知，这是对NL2Code的大型语言模型的第一次调查，我们相信它将有助于该领域的持续发展。

1 引言

2 大语言模型用于NL2Code

3 什么使得LLM成功？

4 基准和指标

5 挑战与机遇

6 结论

在本文中，我们调查了27个现有的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Prompt Compression for Large Language Models: A Survey
c_cpp_csharp的专栏
11-11 647
将大型语言模型 （LLM） 用于复杂的自然语言任务通常需要长格式提示来传达详细的需求和信息，这会导致内存使用和推理成本增加。为了缓解这些挑战，已经提出了多种有效的方法，其中提示压缩引起了研究的极大兴趣。本调查概述了提示压缩技术，分为硬提示方法和软提示方法。首先，比较了这些方法的技术方法，然后探索了理解其机制的各种方法，包括注意力优化、参数高效微调 （PEFT）、模态集成和新的合成语言的观点。我们还研究了各种提示压缩技术的下游适应。
[医疗大模型]【综述】Large Language Models for Medicine: A Survey
li_li_rui的专栏
07-17 2095
最后，文章强调了医学LLM需具备的特点，如同情心、可解释性、实践导向、团队协作、伦理考量、处理不确定性和复杂性的能力，以及跨不同医学领域的适应性。此外，强调了多方协作的重要性，包括政府、医疗机构、患者和研究机构的共同努力，以推动LLMs在医疗领域的全面整合，从而提供更智能、个性化和高效的医疗服务，提升整体医疗质量和患者生活质量。文章回顾了LLMs的发展历程，探讨了其在医疗领域的具体应用，如临床决策支持、患者教育和药物研发等，并指出了在开发和部署医疗LLMs时面临的挑战，包括数据隐私、伦理问题和技术整合。
论文阅读 A Survey of Large Language Models 2
赫凯的博客
04-05 1367
其中，使用LM目标进行预训练似乎可以实现优越的零样本和少样本泛化能力。通过扩展模型大小、数据集大小和总计算量，可以大幅提高随意解码器的性能。由于对编码器-解码器模型的详细调查仍不足，需要更多的研究来分析架构和预训练任务的选择如何影响LLM的能力，特别是对于编码器-解码器架构。除了主要架构外，LLM的详细配置也值得关注。
RAG评估指南：从检索到生成，全面解析LLM性能评估方法
weixin_68094467的博客
12-04 1346
这一节我们将从时间线出发对RAG的评估方式进行对比，这些评估方式不仅限于RAG流程之中，其中基于LLM的评估方式更加适用于各行各业。
CGE：基于Causal LLM的Code Embedding模型
CodeFuse的博客
09-19 1332
CodeFuse-CGE 项目在外滩大会展出，吸引众多技术与产品从业者的关注。“文搜代码”功能备受好评，模型表现令人期待。CodeFuse-CGE 采用大语言模型，通过 LoRA 微调提取文本与代码嵌入，实现在多个 NL2Code 基准测试中超越现有 SOTA 模型。现已开源 CGE-Large 与 CGE-Small 两种模型，欢迎访问 GitHub 页并支持本项目。[项目地址](https://github.com/codefuse-ai/CodeFuse-CGE)
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9529
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
【亲测免费】 推荐开源项目：NL2code - 自然语言到可执行代码的转换神器
gitblog_00001的博客
06-02 992
推荐开源项目：NL2code - 自然语言到可执行代码的转换神器 项目介绍 NL2code是一个革命性的开源项目，它使用神经网络模型将自然语言描述转化为可执行的编程代码。这个项目源于2017年 ACL 大会上发表的研究成果，由 Pengcheng Yin 和 Graham Neubig 共同提出。通过训练和解码算法，NL2code 能够理解和生成符合语法规则的代码，为开发者提供了一种新颖而直观的方...
【论文浅尝】Large Language Models for Generative Information Extraction: A Survey
qq_47982709的博客
05-02 1304
本文对生成式IE的LLM进行了全面的探索。使用两种分类法对现有的代表性方法进行分类:(1)众多IE子任务的分类法，旨在对可以使用llm单独或统一提取的不同类型的信息进行分类;(2)学习范式分类法，对利用llm生成IE的各种新方法进行分类。这种生成式IE调查主要涵盖了和的任务。这三种类型的IE任务以生成方式制定。给定一个输入文本其序列为n个标记X = [，…]，]，prompt P，目标提取序列Y = [，…
论文阅读：A Survey on Large Language Models for Code Generation
m0_53605808的博客
06-25 1334
大型语言模型（LLMs）在各种代码相关任务中取得了显著进【展，被称为代码 LLMs，尤其在从自然语言描述生成源代码的代码生成任务中表现突出。这一新兴领域因其在软件开发中的实际意义，如 GitHub Copilot，引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理（NLP）或软件工程（SE）或两者的角度对 LLMs 进行了各种代码任务的积极探索，但缺乏专门针对代码生成 LLMs 的全面且最新的文献综述。
随着多模态大模型发展，2025年将迎来“自然语言即代码“（NL2Code）的拐点，届时70%的基础代码将通过AI生成，开发者角色将转向架构设计和复杂问题求解。
zzywxc787的博客
08-14 1030
AI编程技术正重塑软件开发范式，核心技术包括自动化代码生成、低代码开发和智能算法优化。实践表明，AI辅助开发可将基础函数实现时间缩短86%，代码缺陷率降低50%。低代码平台通过可视化界面和拖拽组件，使业务人员参与度提升70%。算法优化案例显示，经AI优化的图像处理算法时间复杂度从O(n²)降至O(n)。企业应用需构建包含AI代码服务、安全检测和版本控制的完整架构。未来趋势包括自适应编程风格和跨平台智能迁移，预计到2025年70%基础代码将由AI生成，开发者角色将转向架构设计。
强！ACL2023 | 中科院，针对NL2Code任务，调研了27个大模型，并指出5个重要挑战...
zandaoguang的博客
05-17 348
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达转载自公众号「AINLPer」引言对于NL2Code任务相信大家都不陌生。它主要目的就是将自然语言转换成可执行代码来提高开发人员的工作效率，终极目标就是干翻所有程序员，最近，随着大模型的出现，距离这一天又稍稍进了一步。基于该背景，分享中科院和微软亚洲研究院在ACL2023国际顶会上一篇文章：他们调研了NL2Code领域中的「27个...
ACL2023 | 中科院 针对NL2Code任务，调研了27个大模型，并指出5个重要挑战
zenRRan的博客
05-18 325
来自：AINLPer进NLP群—>加入NLP交流群引言对于NL2Code任务相信大家都不陌生。它主要目的就是将自然语言转换成可执行代码来提高开发人员的工作效率，终极目标就是干翻所有程序员，最近，随着大模型的出现，距离这一天又稍稍进了一步。基于该背景，分享中科院和微软亚洲研究院在ACL2023国际顶会上一篇文章：他们调研了NL2Code领域中的「27个大型语言模型以及相关评价指标」，分析了「L...
【ai_agent】从零写一个agent框架（二）如何让一个workflow/agent跑起来，runtime模块设计
python1234_的博客
07-10 1019
上篇文章我们大致演示了一下ai_agent的食用方法。这里我们做一下核心模块runtime的设计和实现。一个agent也好，workflow也好，他们单个实现起来并不复杂，困难的是如何将他们有机的组合起来，能够按照一定的逻辑流转起来。并且能够层层嵌套，能力无限。现实中应用肯定不局限于这几种情况，但通过一定的流程编辑基本都可以解决，只是复杂性会比较高。
【Text2SQL 论文】CodeS：Text2SQL 领域的开源语言模型
VLyb
06-14 1940
这篇论文开源了一个很不错的 Text2SQL 领域的 LLM，并同时开放了相关的新的数据集，在实际部署时，无论是基于 CodeS 还是另外再微调，这篇论文的思路都值得参考。
9.13-广读最新研究方向论文核心思路汇总
weixin_44064434的博客
09-13 476
*受到开发者调试代码时与代码互动的方式的启发，我们提出了自动科学调试（AutoSD）技术，该技术给定有错误的代码和一个揭示错误的测试用例，提示大型语言模型自动生成假设，使用调试器积极与错误代码交互，从而在补丁生成之前自动得出结论。能够访问解释的参与者判断补丁正确性的时间与那些不能访问的参与者大致相同，但他们在研究中的五个实际错误中的准确性有所提高：70% 的参与者回答在使用修复工具时希望得到解释，而 55% 的参与者回答他们对科学调试表示满意。此外，它还揭示了预训练菜谱的可能的泄漏，例如，
数据分析的新形式--自然语言搜索：NL2SQL2Graph
lmalds的专栏
03-18 4327
数据分析的新形式--自然语言搜索：NL2SQL2Graph背景定位分析能力模型调研实现 背景 自然语言转SQL，再将SQL结果集转图形，在NLP领域是个非常不错的研究方向，这样做的好处在我看来，主要有以下点： 1、数据分析人员无需写Code（SQL）实现取数，搜索数据，灵活方便，支持快速多变的adhoc查询 2、相对于报表和BI系统，数据分析人员主动探索数据，而不是被动接收相对固定的报表 3、搜...
Nl2sql学习（2）：Transformer模型之Encoding
一枚小白的博客
03-07 1047
nl2sql_baseline项目解读（待完成）
hxshine的博客
07-18 2872
1.目的 该项目是将自然语言处理转化为mysql语句。 链接：https://github.com/ZhuiyiTechnology/nl2sql_baseline 首届中文NL2SQL挑战赛:https://tianchi.aliyun.com/competition/entrance/231716/introduction?spm=5176.12281949.1003.8.6f802448KX...
逻辑代码自动生成相关技术概述
阿里云开发者
08-13 3310
简介：如何有效地提高软件开发的效率和质量，一直是软件工程领域关心的问题。其中, 程序自动生成技术被认为是提高软件开发自动化程度和最终质量的重要方法，受到学术界和工业界的广泛关注。程序自动生成技术指利用某些技术自动地为软件生成源代码，达到根据用户的需求机器自动编程的目的。极大程度地减轻了程序员的开发负担, 使得程序员可以更加关注于业务价值赋能。作者 | 妙净作者周婷婷（花名：妙净，微信: weekendingting）是阿里淘系技术部高级前端技术专家，视觉稿智能生成代码 imgcook平台负责人，阿里经济体前
Anchor Attention, Small Cache: Code Generation with Large Language Models论文复现
最新发布
09-03
嗯，用户想复现《Anchor Attention, Small Cache: Code Generation with Large Language Models》论文，我需要仔细分析用户的需求。首先，用户提到了站内引用，但内容是关于多模态大模型的，和这篇论文关系不大，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值