OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of LLMs

最新推荐文章于 2025-11-25 00:05:27 发布
最新推荐文章于 2025-11-25 00:05:27 发布
阅读量108 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Evaluation 文章标签： 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136912069
LLM Evaluation 同时被 2 个专栏收录
97 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

OpenToM是一个评估大型语言模型（LLM）理论思维（N-ToM）能力的新基准，旨在解决现有基准的局限，如模糊叙事和有限问题多样性。实验显示，最先进的LLM在物理世界建模上表现出色，但对角色心理世界的理解有待提高。

本文是LLM系列文章，针对《OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of Large Language Models》的翻译。

OpenToM:一个评估大型语言模型思维推理能力理论的综合基准

摘要

神经心理理论（N-ToM）是机器理解和跟踪他人心理状态的能力，是开发社会智能主体的关键。然而，流行的N-ToM基准有几个缺点，包括存在模棱两可和人为的叙事，缺乏个性特征和偏好，缺乏解决角色心理心理状态的问题，以及提出的问题的多样性有限。针对这些问题，我们构建了OpenToM，这是一个评估N-ToM的新基准，（1）更长、更清晰的叙事故事，（2）具有明确个性特征的角色，（3）由角色意图触发的动作，以及（4）旨在挑战LLM建模角色生理和心理世界心理状态的能力的问题。使用OpenToM，我们发现，最先进的LLM在物理世界中对心理状态的某些方面进行建模时表现出色，但在跟踪角色在心理世界中的心理状态时表现不佳。

1 引言

2 OpenToM数据集

3 实验

4 详细结果分析

5 相关工作

6 未来方向

7 结论

我们介绍了OpenToM，这是一个全面的N-ToM基准，以具有现实人物和事件的长篇叙事为特色，以及涵

了解本专栏 订阅专栏 解锁全文 超级会员免费看
如何蒸馏 Deepseek-R1：全面指南 How to distill Deepseek-R1: A Comprehensive Guide
AI天才研究院
02-07 692
模型蒸馏是一种强大的技术，通过将知识从大型、复杂的模型（教师）转移到小型、更高效的模型（学生）来解决这一挑战。在这篇博客中，我们将通过专用技术如 LoRA（低秩自适应）来讲解如何将 DeepSeek-R1 的推理能力提炼到一个更小的模型，例如微软的 Phi-3-Mini。蒸馏后的推理：蒸馏响应引入了一种更详细和结构化的方法，包括一个明确的“思考”部分，概述了思维过程和推理，这对于生成针对复杂问题的准确响应将非常有帮助。请随意探索该模型，将其与您的任务进行基准测试，并分享您的反馈！
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 2859
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
OpenTom:适用于 TomTom 设备的 Linux 发行版-开源
07-23
该项目旨在帮助任何人创建一个开源环境，以在 TomTom(tm) 设备上开发或移植应用程序。
LLMs之Benchmark：《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-12 8981
​ LLMs之Benchmark：《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese》翻译与解读 目录 《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese》翻译与解读 Abstract 1、Introduction
LLMs之Text2SQL：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-25 1610
​ LLMs之T2S：《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 目录 《Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL》翻译与解读 Abstract 1、Introduction V Expectations期望 《Next
LLMs之Benchmark：《FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models》翻译与解
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-08 2022
​ LLMs之Benchmark：《FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models》翻译与解读 目录 《FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models》翻译与解读 Abstract 1、Intro
LLMs之Agent：《Beyond ReAct: A Planner-Centric Framework for Complex Tool-Augmented LLM Reasoning》翻译与解读
最新发布
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-25 66
​ LLMs之Agent：《Beyond ReAct: A Planner-Centric Framework for Complex Tool-Augmented LLM Reasoning》翻译与解读 目录 《Beyond ReAct: A Planner-Centric Framework for Complex Tool-Augmented LLM Reasoning》翻译与解读 Abstract 1、Introduction
LLMs之Router：《TensorOpera Router: A Multi-Model Router for Efficient LLM Inference》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-09 1539
​ LLMs之Router：《TensorOpera Router: A Multi-Model Router for Efficient LLM Inference》翻译与解读 目录 《TensorOpera Router: A Multi-Model Router for Efficient LLM Inference》翻译与解读 Abstract 1、Introduction Conclusion 《TensorOpera Router: A Multi
LLMs之GLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 4297
​ LLMs之ChatGLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 目录 《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 Abstract 1 Introduction引言 2 ChatGLM
LLMs之RAG：《TableRAG: A Retrieval Augmented Generation Framework for Heterogeneous Document Reasoning》
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-01 1577
为了解决现有 RAG 系统的这些局限性，我们提出了 TableRAG，这是一种混合（SQL 执行和文本检索）框架，能够在文本理解和对表格数据的复杂操作之间动态转换。为了便于对异构文档中的多跳推理进行严格评估，我们引入了 HeteQA，这是一个包含 304 个示例的全新基准，涵盖了九个不同的领域。然而，当应用于包含文本和表格组件的异构文档时，现有的 RAG 方法存在重大局限性。两个阶段，实现了对异构信息的有效整合和利用，并在多个基准测试中取得了显著的性能提升，为异构文档问答领域的研究提供了新的思路。
LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-29 348
​ LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond》翻译与解读 目录 LLMs：《GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond》翻译与解读 ABS
LLMs之LRM之o1：《LLMs Still Can‘t Plan； Can LRMs? A Preliminary Evaluation of OpenAI‘s o1 on PlanBench》翻
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-30 1771
​ LLMs之LRM之o1：《LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench》翻译与解读 目录 《LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench》翻译与解读 Abstract 1 Introductio
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models思想缓冲:大型语言模型的思维增强推理
weixin_44182383的博客
06-13 1158
进一步的分析表明，我们的BoT具有卓越的泛化能力和模型鲁棒性，而平均只需要多查询提示方法(例如，树/思想图)的12%的成本。我们的方法有三个关键优势:(i)准确性提高:通过共享的思想模板，我们可以自适应地实例化处理不同任务的高级思想，从而消除了从头开始构建推理结构的需要，从而提高了推理准确性。具体来说，我们设计了元缓冲区，这是一个轻量级的库，包含一系列通用的高级思想(思想模板)，这些思想是从不同的问题解决过程中提炼出来的，可以跨任务共享。4. 我们对10个具有挑战性的推理密集型任务进行了广泛的实验。
DeepSeekMath: Pushing the Limits of MathematicalReasoning in Open Language Models论文阅读
AI前沿技术的分享！
02-05 1800
数学推理因其复杂性和结构化特性，对语言模型提出了重大挑战。在本文中，我们介绍了 DeepSeekMath 7B，它在 DeepSeek-Coder-Base-v1.5 7B 的基础上，使从 Common Crawl 收集的 1200 亿个数学相关标记进行了持续预训练，同时结合了自然语言和代码数据。DeepSeekMath 7B 在竞争级别的 MATH 基准测试中取得了令人印象深刻的 51.7% 的成绩，且没有依赖外部工具包和投票技术，接近 Gemini-Ultra 和 GPT-4 的性能水平。
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
nmdbbzcl的博客
11-23 1018
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
PaLM：Pathways 驱动的大规模语言模型 scaling 实践
m0_65010824的博客
11-24 665
本文是对论文《PaLM: Scaling Language Modeling with Pathways》的深度解读。在大模型研究领域，如何实现高效规模化训练并解锁复杂任务能力，是核心挑战。Google Research 团队提出的 PaLM 模型，以 5400 亿参数稠密 Transformer 为基础，借助 Pathways 系统实现跨 TPU Pod 高效训练，在少样本推理、代码生成等任务中刷新 SOTA，为大模型规模化研究提供关键参考。
NLP基础(十)_词向量
weixin_48870215的博客
11-23 714
NLP基础(十)_词向量
InstructBLIP：面向通用视觉语言模型的指令微调技术解析
m0_65010824的博客
11-24 471
本文是对论文《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》的深度解读。在多模态领域，如何构建具备通用指令遵循能力的视觉语言模型，是亟待解决的关键挑战。Salesforce Research 等团队提出 InstructBLIP 框架，通过指令感知 Q-Former 与平衡数据集采样策略，实现了多样化视觉语言任务的高效泛化，显著提升零样本与下游微调性能，为通用多模态模型研发提供范式。
论文浅尝 | 利用条件语句激发和提升大语言模型的因果推理能力（CL2025）
开放知识图谱
11-24 249
这些发现表明，代码，特别是代码中的条件语句，通过提示和微调在引发和提高语言模型的因果推理能力方面可以发挥重要作用。证明，在执行复杂因果推理任务时，代码语言模型优于相同结构的通用语言模型。的训练数据观察到最大的性能提升，这表明仅用少量（少于一千条）条件语句代码，模型的因果推理能力就能大幅提高。代码语言模型在大多数设置下仍然优于相应的通用语言模型，并且对于大多数模型来说，代码提示优于文本提示。代码大语言模型比通用大语言模型更擅长因果推理，并且对于大多数模型来说，代码提示比文本提示更有效。
detect.py: error: unrecognized arguments: --benchmark出了这个错误
10-29
python detect.py --weights path/to/custom.pt --source path/to/images/ --benchmark-mode # 新版 (v6.0+) python detect.py --weights path/to/custom.pt --source path/to/images/ --device 0 ``` ### 关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值