Large Language Models: A Survey

最新推荐文章于 2025-02-03 10:58:01 发布
最新推荐文章于 2025-02-03 10:58:01 发布
阅读量137 收藏
点赞数
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136869320
版权
Survey Paper 同时被 2 个专栏收录
261 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文详述了大型语言模型（LLM）的发展，包括GPT、LLaMA、PaLM等家族，探讨其构建、增强技术及在各种基准测试中的表现，同时也指出存在的挑战和未来研究趋势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Large Language Models: A Survey》的翻译。

大型语言模型综述

摘要

自2022年11月ChatGPT发布以来，大型语言模型（LLM）因其在广泛的自然语言任务中的强大性能而备受关注。LLM的通用语言理解和生成能力是通过在大量文本数据上训练数十亿模型的参数来获得的，正如缩放定律所预测的那样。LLM的研究领域虽然很新，但正在以许多不同的方式迅速发展。在本文中，我们回顾了一些最著名的LLM，包括三个流行的LLM家族（GPT、LLaMA、PaLM），并讨论了它们的特点、贡献和局限性。我们还概述了为构建和增强LLM而开发的技术。然后，我们调查了为LLM训练、微调和评估准备的流行数据集，回顾了广泛使用的LLM评估指标，并在一组具有代表性的基准上比较了几种流行LLM的性能。最后，我们通过讨论开放的挑战和未来的研究方向来总结本文。

1 引言

2 大语言模型

3 LLMs是如何构建的

4 LLMs是如何使用和增强的

5 LLMs的流行数据集

6 LLMS在基准测试中的突出表现

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Prompt Compression for Large Language Models: A Survey
c_cpp_csharp的专栏
11-11 565
将大型语言模型 （LLM） 用于复杂的自然语言任务通常需要长格式提示来传达详细的需求和信息，这会导致内存使用和推理成本增加。为了缓解这些挑战，已经提出了多种有效的方法，其中提示压缩引起了研究的极大兴趣。本调查概述了提示压缩技术，分为硬提示方法和软提示方法。首先，比较了这些方法的技术方法，然后探索了理解其机制的各种方法，包括注意力优化、参数高效微调 （PEFT）、模态集成和新的合成语言的观点。我们还研究了各种提示压缩技术的下游适应。
Towards Reasoning in Large Language Models: A Survey
weixin_43961909的博客
11-14 740
推理是人类智能的一个基本方面，在解决问题、决策和批判性思维等活动中起着至关重要的作用。近年来，大型语言模型 (LLM) 在自然语言处理方面取得了重大进展，人们观察到，当这些模型足够大时，它们可能会表现出推理能力。然而，目前尚不清楚 LLM 的推理能力有多强。本文全面概述了当前 LLM 推理的知识状态，包括改进和引出这些模型中的推理技术、评估推理能力的方法和基准、该领域先前研究的发现和含义，以及对未来方向的建议。我们的目标是对这个主题进行详细和最新的回顾，并激发有意义的讨论和未来的工作。
最新语言大模型综述 Large Language Models A Survey
数智笔记
04-09 2801
自2022年11月ChatGPT发布以来，大型语言模型（LLMs）因在各种自然语言任务上表现出色而受到广泛关注。LLMs通过在大量文本数据上训练数十亿个模型参数获得了通用语言理解和生成能力，这符合缩放定律的预测。LLMs的研究领域虽然非常新颖，但在许多不同方面迅速发展。本文回顾了一些最著名的LLMs，包括三个流行的LLM系列（GPT、LLaMA、PaLM），并讨论它们的特点、贡献和局限性。我们还概述了用于构建和增强LLMs的技术。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9260
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
大语言模型的个性化综述 ——《Personalization of Large Language Models: A Survey》
进一步有进一步的欢喜~
02-03 1485
本文深入解读了论文“Personalization of Large Language Models: A Survey”，对大语言模型（LLMs）的个性化领域进行了全面剖析。通过详细阐述个性化的基础概念、分类体系、技术方法、评估指标以及应用实践，揭示了该领域的研究现状和发展趋势。同时，论文也指出了个性化过程中面临的诸多挑战，并对未来的研究方向进行了展望。旨在为相关领域的研究人员和从业者提供全面的参考，推动大语言模型个性化技术的进一步发展和应用。
Retrieval-Augmented Generation for Large Language Models: A Survey
Anooyman的博客
01-07 3434
在大型语言模型时代，RAG的具体定义是指在回答问题或生成文本时，首先从大量文档中检索相关信息的模型。随后，它利用这些检索到的信息来生成响应或文本，从而提高预测的质量。RAG方法允许开发人员避免为每个特定任务重新训练整个大型模型。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-31 4994
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
论文阅读：Explainability for Large Language Models: A Survey
CSPhD-winston的博客
07-08 787
大型语言模型（LLMs）在自然语言处理（NLP）任务中表现出色，但其内部机制不透明，这给下游应用带来了风险。论文提出了一种可解释性技术的分类，并为基于Transformer的语言模型提供了结构化的方法概览。论文根据LLMs的训练范式（传统微调范式和提示范式）对技术进行分类，并讨论了评估生成解释的指标，以及如何利用解释来调试模型和提高性能。最后，论文探讨了在LLMs时代相比于传统深度学习模型的解释技术所面临的主要挑战和新兴机遇。
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（四）
weixin_54607024的博客
01-01 1311
发现在保持或提高T5-XL模型在保留数据集上的性能的同时，可以移除60%。此外，一些研究还深入研究了LLMs生成的。
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（二）
weixin_54607024的博客
12-30 1056
方式上存在差异。例如，梯度可以是。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 6712
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（五）
weixin_54607024的博客
01-01 967
***非斜体正文为原文献内容（也包含笔者的补充），灰色块中是对文章细节的进一步详细解释！五、 解释评估（Explanation Evaluation）在前面的章节中，我们介绍了不同的解释技术和它们的用途，但评估它们如何忠实地反映模型的推理过程仍然是一个挑战。我们将评估大致分为两类：传统微调范式的局部解释评估（第5.1节）和提示范式中自然语言CoT解释的评估（第5.2节）。评估的两个关键维度是和。从技术上讲，评估解释包含和。人工评估通过模型依据（model rationales）与人类依据。
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（一）
weixin_54607024的博客
12-27 1281
Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）传统微调范式（Traditional Fine-Tuning Paradigm）部分精读
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 1835
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
大语言模型综述泛读之Large Language Models: A Survey
08-05 1152
大语言模型发展的四个阶段：①、统计语言模型；②、神经语言模型；③、预训练语言模型；④、大语言模型。统计语言模型是一种基于统计学的自然语言处理模型，它的主要任务是计算一段文本中词语序列的概率，并根据这个概率对文本进行预测或者排序。统计语言模型的核心思想是通过对大量语料库中的统计信息进行分析，建立词语之间的概率关系，然后用这些概率关系来预测或生成新的文本。以下是统计语言模型的一些主要原理：简单的计数方法。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.10-2024.02.15
小小帅
02-19 1835
近年来，大型语言模型（LLMs）展现出了非凡的多功能性，为医疗保健和医学等专业领域提供了潜在的应用。尽管有各种针对健康领域的开源 LLM，但将通用 LLM 应用于医疗领域仍面临巨大挑战。在本文中，我们介绍了 BioMistral，这是一款专为生物医学领域定制的开源 LLM，采用 Mistral 作为基础模型，并在 PubMed Central 上进行了进一步的预训练。我们对 BioMistral 进行了全面评估，评估基准包括 10 个已确立的英语医学问题解答（QA）任务。
Knowledge Editing for Large Language Models: A Survey
qq_53795212的博客
07-25 1134
在本文中，我们将将要注入 LLMs 的知识表示为知识三元组 t = (s,r,o)，其中 s 是主题（例如美国总统），r 是关系（例如是），o 是对象（例如拜登）。从知识三元组的角度来看，针对 LLMs 的 KME 的目标是将模型预训练权重中编码的原始知识三元组 t = (s, r, o) 修改为目标知识三元组 t∗ = (s, r, o∗)，其中 o∗ 是与 o 不同的目标对象。
A Survey of Large Language Models大模型综述论文章节总结
weixin_45320238的博客
10-17 2013
这篇论文出自于中国人民大学，全面回顾了大型语言模型 (LLM) 的最新进展，重点关注其发展背景、关键发现和主流技术。
NLP深入学习：《A Survey of Large Language Models》详细学习（四）
日常学习与专研的记录
02-08 1165
本文主要根据《A Survey of Large Language Models》介绍 Adaption of LLMs（LLMs 适应性）章节
a survey on multimodal large l
最新发布
03-14
### 关于多模态大模型的研究概述 多模态大语言模型（Multimodal Large Language Models, MLLMs）近年来成为人工智能领域的重要研究方向之一。这些模型能够处理多种数据形式，如文本、图像、音频和其他传感器输入，从而实现更加复杂的任务解决能力[^1]。 #### 自动驾驶中的多模态大语言模型 在自动驾驶场景下，MLLMs 的应用尤为突出。它们可以融合来自摄像头、激光雷达和毫米波雷达等多种传感器的数据，提供全面的环境感知能力。一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步融入到自动驾驶系统中，并提出了未来可能的研究方向。 #### 数据集与基准测试 为了推动多模态大语言模型的进步，研究人员创建了许多公开可用的数据集和评估标准。例如，在自动驾驶领域，特定的任务驱动型数据集被用来验证模型的有效性和鲁棒性。这些资源对于促进学术界和工业界的协作至关重要[^3]。 #### 跨语言支持的重要性 尽管目前大多数先进的大型语言模型主要专注于单一语言（通常是英语），但也有不少努力旨在构建具备跨语言功能的版本。比如 VisCPM 和 Qwen-VL 这样的项目展示了通过精心设计的训练策略来增强模型对不同自然语言的支持程度的可能性。 ```python # 示例代码展示如何加载一个多模态预训练模型并执行推理操作 from transformers import AutoProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = AutoProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_url = "https://example.com/sample_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 上述代码片段演示了一个简单的例子，说明如何利用现有的开源工具包加载预先训练好的多模态模型来进行基本推断。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值