Can Large Language Models Understand Context?

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量125 收藏
点赞数
分类专栏： LLM context 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136567786
版权
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM context
31 篇文章
订阅专栏
本文建立了一个上下文理解基准，通过四个任务和九个数据集测试大型语言模型（LLM）理解上下文的能力。实验显示，预训练的LLM在处理微妙的上下文特征时表现不佳，且3-bit后训练量化会降低其上下文理解性能。此基准为LLM评估提供了新的视角，补充了现有评估方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Can Large Language Models Understand Context?》的翻译。

大型语言模型能理解上下文吗？

摘要

理解上下文是理解人类语言的关键，大型语言模型（LLM）越来越多地被视为在令人印象深刻的程度上展示了这一能力。然而，尽管LLM的评估涵盖了自然语言处理领域内的各个领域，但对探究其理解上下文特征的语言能力的关注有限。本文通过调整现有数据集以适应生成模型的评估，引入了一个上下文理解基准。该基准测试由四个不同的任务和九个数据集组成，所有这些都具有旨在评估模型理解上下文能力的提示。首先，我们评估了LLM在上下文内学习预训练场景下的性能。实验结果表明，与最先进的微调模型相比，预训练的密集模型难以理解更细微的上下文特征。其次，随着LLM压缩在研究和现实世界的应用中具有越来越重要的意义，我们评估了在上下文学习环境下量化模型的上下文理解。我们发现，在我们的基准测试中，3-bit后训练量化会导致不同程度的性能下降。我们对这些场景进行了广泛的分析，以证实我们的实验结果。

1 引言

2 相关工作

3 任务选择与设计

4 实验

5 用例研究：查询重写

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
AI天才研究院
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
大型语言模型：基础知识及其应用 Large language models: The basics and their applications
AI天才研究院
07-01 3854
此外，它们还可以用于语言翻译软件，将文本从一种语言准确地翻译成另一种语言，使说不同语言的人之间的交流和理解变得更加容易。语言学习模型具有强大的生成能力，使其成为企业的宝贵资产。LLM的生成能力可以创建书面内容，例如产品描述，营销文案，报告和其他数字资产，例如图像，视频和软件代码。在比较这些模型的性能和功能时，重要的是要注意每个模型都针对非常特定的目的进行了训练，最佳模型将取决于手头的特定 NLP 任务。它已经接受了大量文本数据的训练，可以对广泛的主题和问题产生类似人类的回答，同时保持广泛的对话记忆。
探索未来文本理解：LooGLE，长文本理解的全新基准
gitblog_00064的博客
06-23 826
探索未来文本理解：LooGLE，长文本理解的全新基准 去发现同类优质开源项目:https://gitcode.com/ 在信息爆炸的时代，理解复杂的长文本已成为人工智能领域的一大挑战。为此，我们引荐一个令人瞩目的开源项目——LooGLE（Long Context Generic Language Evaluation），这是一个专为评估大模型在处理超长上下文理解能力而设计的全面基准。该项目不仅提...
Can Large Language Models Explore In-Context? 中文翻译版
自闭啦~~
03-09 871
我们发现，考虑的所有 LLM 配置中，除了一个，均表现出探索失败，未能以显著概率收敛于最佳臂。这种情况发生在以下两种情况中：一种是后缀失败，LLM 在少量初始轮次后从未选择最佳臂；另一种（较少出现）是均匀型失败，LLM 以大致均匀的频率选择所有臂，未能淘汰表现不佳的臂。唯一的例外是 Gpt-4 的 BSSC0 配置，即具有按钮场景、暗示性框架、总结历史、增强的 CoT 和温度为 0。我们在图 3 和图 4 中总结了关键发现。
Finetuning Large Language Models: Sharon Zhou
阿正的梦工坊
03-04 1598
微调大语言模型
A Survey of Large Language Models（个人笔记）
RSociopath的博客
07-31 670
After instruction tuning, LLMs can demonstrate superior abilities to generalize to unseen tasks [28, 62, 64], even in a multilingual setting” (Zhao 等, 2023, p. 19) 经过指令调整后，LLMs可以表现出优越的泛化能力，即使在多语言环境下，也可以泛化到未见过的任务[ 28、62、64 ]
LLMs：《Better & Faster Large Language Models via Multi-token Prediction》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-05 2126
token学习一个参数化的Embedding，表示为矩阵P*e，其中Pe∈Rp×e，p是Prompt的长度，e是Embedding的维度。token学习一个参数化的Embedding，表示为矩阵P*e，其中Pe∈Rp×e，p是Prompt的长度，e是Embedding的维度。token学习一个参数化的Embedding，表示为矩阵P*e，其中Pe∈Rp×e，p是Prompt的长度，e是Embedding的维度。将输入文本的Embedding矩。将输入文本的Embedding矩。
Large Language Models Are Implicitly Topic Models大语言模型是隐式主题模型论文解读
chen030209的博客
10-20 1199
Large Language Models Are Implicitly Topic Models论文解读
Training-Free Long-Context Scaling of Large Language Models
liferecords的博客
02-29 1004
大型语言模型 (LLMs) 在处理和生成连贯文本时的能力显著减弱，当输入代币数量超出它们的预训练长度时。考虑到使用更长序列来微调大规模模型的昂贵开销，我们提出双块注意力 (DCA)，它使得LLAMA2 70B能够支持超过100k代币的上下文窗口，而不需要持续训练。通过将长序列的注意力计算分解为基于块的模块，DCA能够有效地捕获相同块内代币之间（Intra-Chunk）和不同块之间（Inter-Chunk）的相对位置信息，并且与Flash Attention无缝整合。
LLMs之GLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 3804
​ LLMs之ChatGLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 目录 《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 Abstract 1 Introduction引言 2 ChatGLM
Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM
好好学习|学无止境
11-26 2033
LLMs，例如chatGPT和GPT4，由于其涌现能力和泛化性，对自然语言理解和人工智能领域产生了新的冲击。然而，LLMs是一个黑箱模型，往往缺乏捕获和获得事实知识。相反，知识图谱，例如维基百科等，是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时，知识图谱也很难去自然构造和进化，对于现有的知识图谱方法来说，生成新的事实和表示未知数据是一个挑战。因此，统一LLMs和KG，同时利用他们的优点是一种补充。在这篇文章中，我们提出了统一LLMs和KG的路线图。
【越狱检测】Efficient Detection of Toxic Prompts in Large Language Models
skysys的研究小屋
05-13 1047
大型语言模型（LLMs）如ChatGPT和Gemini在自然语言处理领域取得了显著进展，但也面临恶意提示引发有害内容的风险。现有检测方法在多样性、可扩展性和计算效率方面存在挑战。为此，Yi Liu等人提出了ToxicDetector，一种轻量级灰盒方法，通过分析LLM的嵌入向量来高效检测恶意提示。ToxicDetector利用多层感知器（MLP）分类器，准确率高达96.39%，假阳性率低至2.00%，处理时间仅为0.0780秒，适合实时应用。该方法在多个LLM模型和数据集上表现优异，具有高准确率
yolo模型精度提升策略
qq_47798402的博客
06-09 633
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 558
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 316
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 414
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 889
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1191
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 586
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
llama的改进
03-11
### LLaMA Model Improvements in AI and Machine Learning The advancements seen with models such as ChatGPT indicate significant progressions within artificial intelligence (AI) and machine learning (ML), particularly concerning large language models (LLMs). While specific details about LLaMA (Large Language Model Meta AI) may not be directly provided by the given references, insights into similar models can offer valuable context. #### Enhanced Architectural Design Improvements to LLaMA involve refining its architectural design. This includes optimizing transformer layers for better performance while reducing computational overheads. Such enhancements allow LLaMA to process larger datasets efficiently without compromising on speed or accuracy[^2]. #### Improved Training Techniques Advancements also come from improved training techniques that enable faster convergence during optimization processes. These methods ensure stable gradients throughout backpropagation cycles, leading to higher quality outputs when generating text or performing other natural language processing tasks. #### Expanded Context Window Another notable improvement is expanding the context window size beyond previous limitations. A wider context allows LLaMA to understand longer sequences of input data effectively, thereby improving coherence over extended conversations or document analysis scenarios where broader contextual understanding plays a crucial role. #### Multimodal Capabilities Integration Integrating multimodal capabilities represents another frontier explored under recent developments. By combining textual information with visual elements like images or videos, these enhanced versions aim at delivering richer interactions between humans and machines across diverse applications ranging from education platforms to virtual assistants. ```python # Example Python code demonstrating how one might interact with an advanced version of LLaMA API. import llama_api response = llama_api.generate_text(prompt="Explain quantum computing.", max_tokens=100) print(response['text']) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值