Large Language Models: A Survey

最新推荐文章于 2025-03-05 22:15:30 发布
最新推荐文章于 2025-03-05 22:15:30 发布
阅读量167 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136869320
Survey Paper 同时被 2 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文详述了大型语言模型（LLM）的发展，包括GPT、LLaMA、PaLM等家族，探讨其构建、增强技术及在各种基准测试中的表现，同时也指出存在的挑战和未来研究趋势。

本文是LLM系列文章，针对《Large Language Models: A Survey》的翻译。

大型语言模型综述

摘要

自2022年11月ChatGPT发布以来，大型语言模型（LLM）因其在广泛的自然语言任务中的强大性能而备受关注。LLM的通用语言理解和生成能力是通过在大量文本数据上训练数十亿模型的参数来获得的，正如缩放定律所预测的那样。LLM的研究领域虽然很新，但正在以许多不同的方式迅速发展。在本文中，我们回顾了一些最著名的LLM，包括三个流行的LLM家族（GPT、LLaMA、PaLM），并讨论了它们的特点、贡献和局限性。我们还概述了为构建和增强LLM而开发的技术。然后，我们调查了为LLM训练、微调和评估准备的流行数据集，回顾了广泛使用的LLM评估指标，并在一组具有代表性的基准上比较了几种流行LLM的性能。最后，我们通过讨论开放的挑战和未来的研究方向来总结本文。

1 引言

2 大语言模型

3 LLMs是如何构建的

4 LLMs是如何使用和增强的

5 LLMs的流行数据集

6 LLMS在基准测试中的突出表现

7 挑战和未来方向

8 结论

本文对近几年来发展起来的LLM进行了综述。我们首先概述了早期预训练

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Prompt Compression for Large Language Models: A Survey
c_cpp_csharp的专栏
11-11 647
将大型语言模型 （LLM） 用于复杂的自然语言任务通常需要长格式提示来传达详细的需求和信息，这会导致内存使用和推理成本增加。为了缓解这些挑战，已经提出了多种有效的方法，其中提示压缩引起了研究的极大兴趣。本调查概述了提示压缩技术，分为硬提示方法和软提示方法。首先，比较了这些方法的技术方法，然后探索了理解其机制的各种方法，包括注意力优化、参数高效微调 （PEFT）、模态集成和新的合成语言的观点。我们还研究了各种提示压缩技术的下游适应。
论文阅读：arxiv 2024 Jailbreak Attacks and Defenses Against Large Language Models: A Survey
最新发布
CSPhD-winston的博客
09-23 924
大语言模型（LLMs）虽然很厉害（能答题、写代码、翻译），但出厂前都会做“安全对齐”——比如你问“怎么造炸弹”，它会拒绝回答，这就是“安全护栏”。而“越狱”就是有人故意设计特殊的提问（叫“对抗性提示”），钻模型的漏洞，让它突破安全护栏，输出有害内容（比如教犯罪方法、传谣言）。这篇文档就是专门分析“怎么越狱”和“怎么防越狱”的。现在大语言模型的越狱和防御是“猫鼠游戏”——攻击方法越来越隐蔽（比如用小语种、通顺的套话），防御也得跟着升级（比如加强小语种检查、优化RLHF）。
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 2845
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
最新语言大模型综述 Large Language Models A Survey
数智笔记
04-09 3492
自2022年11月ChatGPT发布以来，大型语言模型（LLMs）因在各种自然语言任务上表现出色而受到广泛关注。LLMs通过在大量文本数据上训练数十亿个模型参数获得了通用语言理解和生成能力，这符合缩放定律的预测。LLMs的研究领域虽然非常新颖，但在许多不同方面迅速发展。本文回顾了一些最著名的LLMs，包括三个流行的LLM系列（GPT、LLaMA、PaLM），并讨论它们的特点、贡献和局限性。我们还概述了用于构建和增强LLMs的技术。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9534
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
大语言模型的个性化综述 ——《Personalization of Large Language Models: A Survey》
进一步有进一步的欢喜~
02-03 1850
本文深入解读了论文“Personalization of Large Language Models: A Survey”，对大语言模型（LLMs）的个性化领域进行了全面剖析。通过详细阐述个性化的基础概念、分类体系、技术方法、评估指标以及应用实践，揭示了该领域的研究现状和发展趋势。同时，论文也指出了个性化过程中面临的诸多挑战，并对未来的研究方向进行了展望。旨在为相关领域的研究人员和从业者提供全面的参考，推动大语言模型个性化技术的进一步发展和应用。
Retrieval-Augmented Generation for Large Language Models: A Survey
Anooyman的博客
01-07 3583
在大型语言模型时代，RAG的具体定义是指在回答问题或生成文本时，首先从大量文档中检索相关信息的模型。随后，它利用这些检索到的信息来生成响应或文本，从而提高预测的质量。RAG方法允许开发人员避免为每个特定任务重新训练整个大型模型。
10、论文笔记：Retrieval-Augmented Generation for Large Language Models: A Survey（RAG调查）
weixin_44986037的博客
01-07 1443
RAG调研
论文阅读：Explainability for Large Language Models: A Survey
CSPhD-winston的博客
07-08 885
大型语言模型（LLMs）在自然语言处理（NLP）任务中表现出色，但其内部机制不透明，这给下游应用带来了风险。论文提出了一种可解释性技术的分类，并为基于Transformer的语言模型提供了结构化的方法概览。论文根据LLMs的训练范式（传统微调范式和提示范式）对技术进行分类，并讨论了评估生成解释的指标，以及如何利用解释来调试模型和提高性能。最后，论文探讨了在LLMs时代相比于传统深度学习模型的解释技术所面临的主要挑战和新兴机遇。
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（四）
weixin_54607024的博客
01-01 1436
发现在保持或提高T5-XL模型在保留数据集上的性能的同时，可以移除60%。此外，一些研究还深入研究了LLMs生成的。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-31 5541
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
个性化大语言模型LLM的最全综述
强化学习曾小健
01-23 1262
个性化LLM：综述。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 7291
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
【文献精读笔记】Explainability for Large Language Models: A Survey （大语言模型的可解释性综述）（五）
weixin_54607024的博客
01-01 1076
***非斜体正文为原文献内容（也包含笔者的补充），灰色块中是对文章细节的进一步详细解释！五、 解释评估（Explanation Evaluation）在前面的章节中，我们介绍了不同的解释技术和它们的用途，但评估它们如何忠实地反映模型的推理过程仍然是一个挑战。我们将评估大致分为两类：传统微调范式的局部解释评估（第5.1节）和提示范式中自然语言CoT解释的评估（第5.2节）。评估的两个关键维度是和。从技术上讲，评估解释包含和。人工评估通过模型依据（model rationales）与人类依据。
NLP深入学习：《A Survey of Large Language Models》详细学习（三）
日常学习与专研的记录
02-06 1425
本文根据论文《A Survey of Large Language Models》来介绍预训练部分，这是 LLMs 的重要部分！
大语言模型综述泛读之Large Language Models: A Survey
08-05 1218
大语言模型发展的四个阶段：①、统计语言模型；②、神经语言模型；③、预训练语言模型；④、大语言模型。统计语言模型是一种基于统计学的自然语言处理模型，它的主要任务是计算一段文本中词语序列的概率，并根据这个概率对文本进行预测或者排序。统计语言模型的核心思想是通过对大量语料库中的统计信息进行分析，建立词语之间的概率关系，然后用这些概率关系来预测或生成新的文本。以下是统计语言模型的一些主要原理：简单的计数方法。
【论文精读】Explainability for Large Language Models: A Survey
Devilike的博客
09-14 1041
大型语言模型 (LLM) 在自然语言处理方面表现出了令人印象深刻的能力。然而，它们的内部机制仍不清楚，缺乏透明度给下游应用带来了不必要的风险。因此，理解和解释这些模型对于阐明它们的行为、局限性和社会影响至关重要。在本文中，我们介绍了可解释性技术的分类，并提供了用于解释基于 Transformer 的语言模型的方法的结构化概述。我们根据法学硕士的培训范式对技术进行分类：传统的基于微调的范式和基于提示的范式。对于每个范式，我们总结了生成个体预测的局部解释和整体模型知识的全局解释的目标和主要方法。
【文献阅读】Model Compression and Efficient Inference for Large Language Models: A Survey
Toky_min的博客
03-05 861
基于 Transformer 的大型语言模型取得了巨大成功。然而，推理过程中高昂的内存和计算成本使得在资源受限的设备上部署大型模型颇具挑战。本文从算法角度研究了大型语言模型的压缩和高效推理方法。在分类方面，与较小的模型类似，大型语言模型的压缩和加速算法仍可分为量化、剪枝、知识蒸馏、紧凑架构设计和动态网络。不过，大型语言模型与较小模型相比有两个显著特点：（1）大多数压缩算法在压缩后需要对模型进行微调甚至重新训练。大型模型最显著的问题是模型微调或训练的成本极高。因此，许多针对大型模型的算法，如量化和剪枝，开始探
大型语言模型综述/总结 LLM A Survey of Large Language Models
m0_52987303的博客
01-14 6031
自20世纪50年代图灵测试提出以来，人类就开始探索机器掌握语言智能。语言本质上是一个受语法规则控制的复杂的人类表达系统。开发强大的人工智能 (AI) 算法来理解和掌握语言提出了重大挑战。作为一种主要方法，语言建模在过去二十年中被广泛研究用于语言理解和生成，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上预训练 Transformer 模型提出了预训练语言模型（PLM），在解决各种自然语言处理（NLP）任务方面表现出了强大的能力。
a survey on multimodal large l
03-14
一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值