A Survey on Large Language Models for Code Generation

本文是LLM系列文章,针对《A Survey on Large Language Models for Code Generation》的翻译。

摘要

大型语言模型 (LLM) 在各种与代码相关的任务(称为代码 LLM)中取得了显著的进步,尤其是在使用 LLM 从自然语言描述生成源代码的代码生成方面。由于其在软件开发(例如 GitHub Copilot)中的实际意义,这个新兴领域引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理 (NLP) 或软件工程 (SE) 或两者兼而有之的角度来看,人们积极探索 LLM 用于各种代码任务,但明显缺乏专门针对 LLM 用于代码生成的全面和最新的文献综述。在这项调查中,我们旨在通过提供系统的文献综述来弥合这一差距,为研究人员研究用于代码生成的 LLM 的前沿进展提供有价值的参考。我们引入了一个分类法来分类和讨论用于代码生成的 LLM 的最新发展,涵盖数据管理、最新进展、性能评估和实际应用等方面。此外,我们还概述了用于代码生成的 LLM 演变的历史,并使用广泛认可的 HumanEval 和 MBPP 基准测试进行了实证比较,以突出用于代码生成的 LLM 功能的逐步增强。我们确定了学术界和实际发展之间差距的关键挑战和有希望的机遇。此外,我们还建立了一个专门的资源网站 (

### 关于多模态大模型的研究概述 多模态大语言模型(Multimodal Large Language Models, MLLMs)近年来成为人工智能领域的重要研究方向之一。这些模型能够处理多种数据形式,如文本、图像、音频和其他传感器输入,从而实现更加复杂的任务解决能力[^1]。 #### 自动驾驶中的多模态大语言模型 在自动驾驶场景下,MLLMs 的应用尤为突出。它们可以融合来自摄像头、激光雷达和毫米波雷达等多种传感器的数据,提供全面的环境感知能力。一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程,还分析了多模态语言模型如何逐步融入到自动驾驶系统中,并提出了未来可能的研究方向。 #### 数据集与基准测试 为了推动多模态大语言模型的进步,研究人员创建了许多公开可用的数据集和评估标准。例如,在自动驾驶领域,特定的任务驱动型数据集被用来验证模型的有效性和鲁棒性。这些资源对于促进学术界和工业界的协作至关重要[^3]。 #### 跨语言支持的重要性 尽管目前大多数先进的大型语言模型主要专注于单一语言(通常是英语),但也有不少努力旨在构建具备跨语言功能的版本。比如 VisCPM 和 Qwen-VL 这样的项目展示了通过精心设计的训练策略来增强模型对不同自然语言的支持程度的可能性。 ```python # 示例代码展示如何加载一个多模态预训练模型并执行推理操作 from transformers import AutoProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = AutoProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_url = "https://example.com/sample_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 上述代码片段演示了一个简单的例子,说明如何利用现有的开源工具包加载预先训练好的多模态模型来进行基本推断。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值