OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of LLMs

最新推荐文章于 2025-06-09 15:33:49 发布
最新推荐文章于 2025-06-09 15:33:49 发布
阅读量86 收藏
点赞数
分类专栏： LLM Evaluation 文章标签： 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136912069
版权
LLM Evaluation 同时被 2 个专栏收录
85 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

OpenToM是一个评估大型语言模型（LLM）理论思维（N-ToM）能力的新基准，旨在解决现有基准的局限，如模糊叙事和有限问题多样性。实验显示，最先进的LLM在物理世界建模上表现出色，但对角色心理世界的理解有待提高。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of Large Language Models》的翻译。

OpenToM:一个评估大型语言模型思维推理能力理论的综合基准

摘要

神经心理理论（N-ToM）是机器理解和跟踪他人心理状态的能力，是开发社会智能主体的关键。然而，流行的N-ToM基准有几个缺点，包括存在模棱两可和人为的叙事，缺乏个性特征和偏好，缺乏解决角色心理心理状态的问题，以及提出的问题的多样性有限。针对这些问题，我们构建了OpenToM，这是一个评估N-ToM的新基准，（1）更长、更清晰的叙事故事，（2）具有明确个性特征的角色，（3）由角色意图触发的动作，以及（4）旨在挑战LLM建模角色生理和心理世界心理状态的能力的问题。使用OpenToM，我们发现，最先进的LLM在物理世界中对心理状态的某些方面进行建模时表现出色，但在跟踪角色在心理世界中的心理状态时表现不佳。

1 引言

2 OpenToM数据集

3 实验

了解本专栏 订阅专栏 解锁全文 超级会员免费看
如何蒸馏 Deepseek-R1：全面指南 How to distill Deepseek-R1: A Comprehensive Guide
AI天才研究院
02-07 643
模型蒸馏是一种强大的技术，通过将知识从大型、复杂的模型（教师）转移到小型、更高效的模型（学生）来解决这一挑战。在这篇博客中，我们将通过专用技术如 LoRA（低秩自适应）来讲解如何将 DeepSeek-R1 的推理能力提炼到一个更小的模型，例如微软的 Phi-3-Mini。蒸馏后的推理：蒸馏响应引入了一种更详细和结构化的方法，包括一个明确的“思考”部分，概述了思维过程和推理，这对于生成针对复杂问题的准确响应将非常有帮助。请随意探索该模型，将其与您的任务进行基准测试，并分享您的反馈！
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 2382
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
LLMs之Benchmark：《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-12 2637
​ LLMs之Benchmark：《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese》翻译与解读 目录 《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese》翻译与解读 Abstract 1、Introduction
LLMs之Router：《TensorOpera Router: A Multi-Model Router for Efficient LLM Inference》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-09 1232
​ LLMs之Router：《TensorOpera Router: A Multi-Model Router for Efficient LLM Inference》翻译与解读 目录 《TensorOpera Router: A Multi-Model Router for Efficient LLM Inference》翻译与解读 Abstract 1、Introduction Conclusion 《TensorOpera Router: A Multi
LLMs之Benchmark：《FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models》翻译与解
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-08 1811
​ LLMs之Benchmark：《FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models》翻译与解读 目录 《FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models》翻译与解读 Abstract 1、Intro
LLMs之GLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 3799
​ LLMs之ChatGLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 目录 《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 Abstract 1 Introduction引言 2 ChatGLM
LLMs之Text2SQL：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-25 1378
​ LLMs之T2S：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 目录 《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 Abstract 1、Introduction V Expectations期望 《Next
LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-29 152
​ LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond》翻译与解读 目录 LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond》翻译与解读 ABS
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models思想缓冲:大型语言模型的思维增强推理
weixin_44182383的博客
06-13 967
进一步的分析表明，我们的BoT具有卓越的泛化能力和模型鲁棒性，而平均只需要多查询提示方法(例如，树/思想图)的12%的成本。我们的方法有三个关键优势:(i)准确性提高:通过共享的思想模板，我们可以自适应地实例化处理不同任务的高级思想，从而消除了从头开始构建推理结构的需要，从而提高了推理准确性。具体来说，我们设计了元缓冲区，这是一个轻量级的库，包含一系列通用的高级思想(思想模板)，这些思想是从不同的问题解决过程中提炼出来的，可以跨任务共享。4. 我们对10个具有挑战性的推理密集型任务进行了广泛的实验。
LLMs:《OPT: Open Pre-trained Transformer Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-31 6064
​ LLMs:《OPT: Open Pre-trained Transformer Language Models》翻译与解读 目录 《OPT: Open Pre-trained Transformer Language Models》翻译与解读 Abstract 1、Introduction 2 、Method方法 3、Evaluations评估 4 Bias & Toxicity Evaluations偏见和有害性评估 5 Limitatio
LLMs之LRM之o1：《LLMs Still Can‘t Plan； Can LRMs? A Preliminary Evaluation of OpenAI‘s o1 on PlanBench》翻
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-30 1664
​ LLMs之LRM之o1：《LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench》翻译与解读 目录 《LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench》翻译与解读 Abstract 1 Introductio
论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理
shizidushu的博客
09-13 1670
# 论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理 # 关于 - 首次发表日期：2024-09-13 - 论文原文链接：http://xblx.whu.edu.cn/zh/article/doi/10.14188/j.1671-8836.2024.0040/ - 将文章中的参考文献整理一下，基本保持原文的目录结构
通过缓解稳定性差距实现高效持续预训练 | 大模型的混合对齐训练 | 探索构建特定语言的大模型的设计选择！
强化学习曾小健
07-20 1178
论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
2501_91516851的博客
06-04 972
长短期记忆网络（LSTM）通过创新的门控机制解决了传统RNN的梯度消失问题。其核心是记忆单元和三个门（遗忘门、输入门、输出门），能够选择性保留长期依赖信息。相比RNN，LSTM的线性信息流使梯度有效传播，门控机制动态调节信息流动。LSTM在文本分类、序列标注、机器翻译等NLP任务中表现优异，并衍生出GRU、双向LSTM等变体。伪代码展示了LSTM单元的基本实现逻辑，包括门控计算和状态更新过程。
NLP学习路线图（二十九）：BERT及其变体
2501_91516851的博客
06-06 906
在自然语言处理（NLP）领域，一场静默的革命始于2017年。当谷歌研究者发表《Attention is All You Need》时，很少有人预料到其中提出的Transformer架构会彻底颠覆NLP的发展轨迹，更催生了以GPT系列为代表的语言模型风暴，重新定义了人类与机器的交互方式。
自然语言处理——语言模型
m0_74259787的博客
06-08 717
介绍了常见语言模型，包括n元文法和前馈神经网络
多模态大语言模型arxiv论文略读（112）
Jamence的博客
06-09 580
实验在多图像描述任务和故事叙述任务上进行了广泛的测试，结果表明，SAM模型在这些任务上的表现显著优于现有方法，分别在组描述任务和故事叙述任务上提高了37%和22%的CIDEr分数。➡️ 研究动机：为了克服上述限制，研究团队提出了一种新的Video-MLLM——Video-CCAM，通过在视觉编码器和大语言模型（LLM）之间的中间投影器中应用交叉注意力层，并引入因果交叉注意力掩码（CCAMs），以提高模型处理视频时的时序一致性和效率。该架构能够在不牺牲原有语言模型能力的情况下，增强模型的多模态能力。
大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计
最新发布
teach2004的博客
06-09 318
对于很多实际应用中的数据，尤其是经过注意力机制处理后的键值对，可能存在大量冗余或不重要的信息，采用稀疏表示可以极大地节省存储空间。在标准的Transformer架构中，自注意力机制要求对序列中的每个元素都进行两两比较，这导致了计算复杂度和内存使用量随着输入长度的增加而急剧上升。总的来说，动态稀疏注意力机制为处理大规模数据提供了一种有效的方法，使得大型语言模型能够在不牺牲太多精度的情况下，更加高效地运行。动态性：所谓的“动态”，指的是这种选择不是固定的，而是根据输入的不同自适应调整。
NLP学习路线图（二十八）：BERT及其变体
2501_91516851的博客
06-06 858
自然语言处理（NLP）领域在近些年经历了革命性的发展，其中Transformer架构的提出和BERT模型的诞生无疑是两个最关键的里程碑。它们不仅刷新了几乎所有NLP任务的性能记录，更深刻地改变了我们构建和理解语言模型的方式。本文将深入剖析Transformer的核心机制，详细解读BERT的工作原理及其带来的范式转变，并探讨其重要变种的发展脉络与技术特点。
大模型的基准度 AIME 2024
02-25
The American Invitational Mathematics Examination (AIME) has been adapted into a benchmark dataset specifically designed to evaluate the performance of large language models (LLMs). This adaptation ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值