A Survey on Language Models for Code

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量390 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134580329
Survey Paper 同时被 2 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文详述了语言模型在代码处理领域的进展，涵盖多种模型、评估任务和数据集。作者对比了通用和专用代码语言模型，探讨了代码特性在训练中的应用，并指出了当前的挑战，包括全面基准测试、高质量数据获取、代码特性集成、LLM在更多任务中的应用以及新模型架构和训练目标的研究。

本文是LLM系列文章，针对《A Survey on Language Models for Code》的翻译。

代码语言模型综述

摘要

在这项工作中，我们系统地回顾了语言模型在代码处理方面的最新进展，涵盖了50多个模型、30多个评估任务、150多个数据集和550项相关工作。我们将代码处理模型分解为以GPT家族为代表的通用语言模型和专门针对代码进行预训练的专用模型，通常具有定制的目标。我们讨论了这些模型之间的关系和差异，并强调了代码建模从统计模型和RNN到预训练的Transformers和LLM的历史转变，这与NLP所走的路线完全相同。我们还讨论了代码特定的功能，如AST、CFG和单元测试，以及它们在训练代码语言模型中的应用，并确定了该领域的关键挑战和潜在的未来方向。我们在github存储库上保持调查的开放和更新https://github.com/codefuse-ai/Awesome-Code-LLM。

1 引言

2 背景

3 代码语言模型的评估

4 代码的通用语言模型

5 代码的专用语言模型

6 语言模型的代码特性

7 软件开发的LLMs

8 结论与挑战

在这项工作中，我们系统地回顾了使用预训练的Transformer语言模型进行代码处理的历

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Large Language Models for Code Generation
c_cpp_csharp的专栏
09-09 429
大型语言模型 （LLM） 在各种与代码相关的任务（称为代码 LLM）中取得了显著的进步，尤其是在使用 LLM 从自然语言描述生成源代码的代码生成方面。由于其在软件开发（例如 GitHub Copilot）中的实际意义，这个新兴领域引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理 （NLP） 或软件工程 （SE） 或两者兼而有之的角度来看，人们积极探索 LLM 用于各种代码任务，但明显缺乏专门针对 LLM 用于代码生成的全面和最新的文献综述。
A Survey on Large Language Models for Recommendation
c_cpp_csharp的专栏
08-23 1834
大型语言模型（LLM）作为自然语言处理（NLP）领域的强大工具，近年来在推荐系统（RS）领域受到了极大的关注。这些模型使用自监督学习在大量数据上进行训练，在学习通用表示方面取得了显著成功，并有可能通过一些有效的转移技术（如微调和提示调整）来增强推荐系统的各个方面。利用语言模型的力量来提高推荐质量的关键方面是利用它们对文本特征的高质量表示以及它们对外部知识的广泛覆盖来建立项目和用户之间的相关性。
【代码大模型】A Survey on Language Models for Code综述阅读
hhhhhzl的博客
11-20 1109
代码大模型综述
论文阅读：A Survey on Large Language Models for Code Generation
m0_53605808的博客
06-25 1338
大型语言模型（LLMs）在各种代码相关任务中取得了显著进【展，被称为代码 LLMs，尤其在从自然语言描述生成源代码的代码生成任务中表现突出。这一新兴领域因其在软件开发中的实际意义，如 GitHub Copilot，引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理（NLP）或软件工程（SE）或两者的角度对 LLMs 进行了各种代码任务的积极探索，但缺乏专门针对代码生成 LLMs 的全面且最新的文献综述。
大模型周报丨代码语言模型和模型即服务两篇综述，涵盖50+模型、30+评估任务和500+篇相关论文
xiaoshun007的专栏
12-05 464
我们的定量分析表明，我们的方法在提示对齐和身份一致性之间取得了更好的平衡，相较于基线方法，这些发现得到了用户研究的加强。此外，文章还讨论了代码特定的特征，如AST、CFG和单元测试，以及它们在代码语言模型训练中的应用，并指出了该领域的主要挑战和潜在的未来发展方向。2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。
Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
02-11
内容概要：本文系统回顾了近来利用大型语言模型进行代码处理的发展进展，涵盖了超过50种模型、30多项评估任务、170多个数据集以及超过700项相关研究成果。作者将代码处理模型分为以GPT家族为代表的通用语言模型，...
论文干货 | 首篇代码生成大模型综述
qq_45832461的博客
11-17 5692
全网首篇最全面透彻的代码生成大模型论文综述的详解。分享一篇来自上海交通大学的最新代码生成大模型的论文综述。系统回顾了使用语言模型处理代码的最新进展，涵盖 50 多种模型、30 多种评估任务和 500 多项相关工作。将代码处理模型分为以 GPT 系列为代表的通用语言模型和根据特定目标对代码进行预训练的专用模型。讨论代码建模从统计模型和 RNN 到预训练 Transformers 和 LLM 的历史过渡，这与 NLP 的发展历程类似。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 214
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 567
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 219
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1798
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 236
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 698
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 51
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1053
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 593
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
A Survey of Object Detection for UAVs Based on Deep Learning
04-21
《Deep Learning for UAV-based Object Detection: A Systematic Review》(IEEE TGRS 2023) 系统分析了2018-2022年间86篇核心文献，建立完整的无人机检测技术体系 2. **方法学创新** 《Attention-guided ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值