大语言模型本身有记忆功能吗？

大语言模型是否有记忆功能
最新推荐文章于 2025-12-03 08:43:36 发布
原创 最新推荐文章于 2025-12-03 08:43:36 发布 · 389 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

大模型LLM有记忆功能吗？比如用户提问了一个问题，然后大模型给出了回答，然后用户又说基于上述的问题回答是否存在问题？LLM能记住上次的回答的内容吗？
这是一个非常好的问题，它触及了大语言模型（LLM）工作原理的核心。答案是：这完全取决于应用程序如何设计，但纯粹的、原始的LLM本身在默认情况下是没有记忆的。

让我为您详细解释一下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意：大模型返回的内容也叫提示词（Assistant提示词）
所以，记忆功能是由应用程序通过“不断追加对话历史到提示词中”来实现的。LLM本身只是根据眼前看到的所有文本做出反应。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
目前主流的大模型LLM都是没有内部记忆的是吗？记忆功能在应用程序侧？（对上面的补充）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

大语言模型（LLM）本身是无状态的,怎么固化记忆
ZJQ的博客
05-19 915
大语言模型（LLM）本身是无状态的，无法直接“记住”历史对话或用户特定信息，但可以通过**架构改进、外部记忆整合、训练方法优化**等方案实现上下文记忆能力。
AI的自我进化框架：大型语言模型如何不断提升智能水平？
AI_Conf的博客
04-26 1187
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
AgentFly：重塑Agent，无需微调LLM，如我们一样的记忆和经验持续学习
zenRRan的博客
08-27 1111
未来，AgentFly的研究方向可能包括：更高效的记忆压缩与检索机制、遗忘策略以应对记忆爆炸、以及在更开放的多智能体环境中的协作与应用。近年来，大型语言模型（LLM）智能体已成为AI领域的热点，它们能自主使用工具、进行多步推理，完成复杂任务，如深度研究、代码生成、多轮对话等。，智能体通过不断积累成功和失败的经验（存入“案例库”），在遇到新任务时快速检索相似案例指导决策，从而实现持续进步——：它告诉我们，检索案例的概率由它们的Q值决定——Q值越高的案例（即过去越成功的案例），被选中的概率越大。
AI大语言模型的基础知识与前沿发展
热门推荐
weixin_43178406的博客
05-08 7万+
本文主要介绍了AI大语言模型的基础知识与前沿发展，希望能对学习大模型和人工智能的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
科普大模型入门指南：定义、应用与训练方法
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
09-06 6万+
本文探讨了大语言模型的基本概念、训练机制以及其在各个领域的广泛应用。大模型通过深度学习技术，能够理解和生成自然语言，改变了人机交互的方式。文章分析了大模型的训练过程，并讨论了其在智能助手、内容生成、数据分析等领域的潜力。与此同时，我们也关注了在模型使用中面临的伦理、安全和可解释性等挑战。展望未来，本文强调了有效控制和监管的重要性，以确保大模型的安全和负责任使用。
一文读懂AI语言模型
百锦再的博客
09-27 1998
本文系统介绍了AI语言模型的发展历程、核心技术原理及典型应用。从早期的统计语言模型（如N-gram）到神经网络语言模型（RNN、LSTM），再到革命性的Transformer架构，详细解析了自注意力机制等关键技术。文章重点分析了主流模型如GPT、BERT、T5等的特点，并提供了BERT情感分类的PyTorch微调代码示例。最后通过Hugging Face库演示了GPT-2文本生成实践，为读者提供了从理论到实践的完整学习路径，适合NLP研究者和开发者参考。（摘要字数：149字）
《书籍推荐》AI大语言模型的基础与前沿
herosunly的博客
05-06 4万+
本文主要介绍了人工智能大语言模型的基础与前沿，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
大语言模型(LLM)入门学习路线图
weixin_36751401的博客
02-28 2万+
Github项目上有一个，它涵盖了大语言模型基础学习，LLM前沿算法和架构学习，以及如何将大语言模型进行工程化，是一个很好的帮助初学者入门大语言模型的路线图。
如何减轻大语言模型中的幻觉？
DaVenci的博客
06-20 1661
大型语言模型（LLMs）存在产生幻觉的问题，即生成不准确的文本。本文探讨了导致幻觉的原因及缓解技术，并指出这些方法的挑战和局限性，强调需要进一步研究来提高模型的准确性和可靠性。
重定义大语言模型的记忆能力：对抗性压缩如何挑战现有测量法
math_bearrr的博客
05-01 1889
1. ACR的概念及其重要性对抗压缩比（Adversarial Compression Ratio, ACR）是一种新提出的衡量大型语言模型（LLM）记忆化程度的指标。这一指标基于一个压缩论点：如果一个训练数据中的字符串可以通过一个比该字符串本身短的提示被模型复现出来，则认为该字符串被记忆了。换句话说，这些字符串可以通过计算对抗性提示的方式在模型中被“压缩”。
LLM大语言模型综述
zh515858237的专栏
01-10 4万+
LLM其实就是large language model，大语言模型。AGI其实就是Artificial General Intelligence。NLP理解类任务和NLP生成类任务。这两类任务的差异主要体现在输入输出形式上。理解类任务的特点是，输入一个句子（文章），或者两个句子，模型最后判断属于哪个类别，所以本质上都是分类任务，比如文本分类、句子关系判断、情感倾向判断等。生成类任务的特点是，给定输入文本，对应地，模型要生成一串输出文本，比如聊天机器人、机器翻译、文本摘要、问答系统等。
大模型智能体的记忆机制综述
人工智能前沿分享
06-19 1587
这个表格详细列出了各种模型在记忆形式上的取舍，特别是在文本形式（Textual Form）和参数形式（Parametric Form）之间的选择，以及它们在记忆操作方面的具体实现，包括完整的交互记录、最近的交互记录、检索到的交互记录以及外部知识的整合。本文将探讨LLM基础智能体记忆的概念、重要性以及实现和评估方法，同时展示记忆增强智能体在多种应用场景中的潜力和未来发展方向，旨在为这一领域的研究者和实践者提供全面的视角和深入的洞见。该图强调了记忆在智能体与环境交互中的关键作用，包括信息的感知、存储和检索。
大语言模型（Large Language Model，LLM）简介
l8947943的博客
03-24 4159
它是一种基于深度学习的人工智能模型，它从大量来自书籍、文章、网页和图像等来源的数据中学习，以发现语言模式和规则，如处理和生成自然语言文本。通常，大语言模型含数百亿（或更多）参数。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 808
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1519
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
最新发布
minhuan的专栏
12-03 855
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1733
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1527
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
大模型仅凭LeetCode编号解题？是记忆还是泛化能力？
首先，从技术背景来看，以OpenAI的Codex和后续的ChatGPT为代表的大规模语言模型，是在海量文本数据上进行预训练的神经网络系统，参数量可达数百亿甚至上千亿级别。这些模型通过自回归方式学习语言结构、语义关系和上...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值