CaLM 因果推理评测体系：如何让大模型更贴近人类认知水平？

最新推荐文章于 2025-11-26 15:49:07 发布
原创 最新推荐文章于 2025-11-26 15:49:07 发布 · 1.6k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #github #开源

CaLM 是什么

CaLM（Causal Evaluation of Language Models，以下简称“CaLM”）是上海人工智能实验室联合同济大学、上海交通大学、北京大学及商汤科技发布首个大模型因果推理开放评测体系及开放平台。首次从因果推理角度提出评估框架，为 AI 研究者打造可靠评测工具，从而为推进大模型认知能力向人类水平看齐提供指标参考。

因果推理是人类认知能力最重要的特征之一，提升因果推理能力被视为由机器智能迈向人类智能水平的关键步骤。为对大模型进行科学有效的因果推理能力评估，上海人工智能实验室联合团队在 CaLM 中提出包含因果评估目标（Causal Target）、评估方式（Adaptation）、评估标准（Metric）及错误分析（Error）的评估框架，同时构建了超过12万道题目的中英文数据集。

基于 CaLM，联合团队首次对 28 个当前主流大模型进行了因果推理能力评测，共产生了 50 项实证性发现，本文摘录其中 6 个结论。相关论文共 315 页，可查看文末链接，或登录网页查阅下载。

CaLM 评估框架

（CaLM 评估框架） 

CaLM 采用了一套灵活、易扩展的评估框架，并按照预设实施顺序进行评测：因果评估目标（Causal Target）→评估方式（Adaptation）→评估标准（Metric）→错误分析（Error）。CaLM 的评估框架设计与实施流程，还可应用于数学推理、专业知识及长文本处理等模型能力评估体系构建。

自下而上的因果评估目标

最低0.47元/天 解锁文章
司南评测
关注
iOS_Calm_the_Storm:iOS版本的《风平浪静》
04-19
UIKit是iOS开发的传统选择，而SwiftUI则是Apple推出的声明式UI框架，它使开发者能够用更少的代码实现更复杂的界面布局。 应用的核心功能可能是播放舒缓的音乐和自然声音，这些音频资源可能被嵌入到项目中，或者通过...
CALM框架：系统性识别与量化大型语言模型的偏见
步子哥的博客
10-05 389
在人工智能的迅速发展浪潮中，大型语言模型（LLMs）在自然语言处理领域扮演着至关重要的角色，从文本生成到问答系统，它们无处不在。然而，随着它们影响力的扩大，确保其在评判与决策过程中保持公正性成为了一个亟待解决的关键问题。本文旨在介绍一种创新的评估框架——CALM（Comprehensive Assessment of Language Model Judge Biases），旨在系统地评估和量化LLMs在评判过程中的潜在偏见。
大模型推理能力评测新范式：从结果正确性到过程可解释性
mobingyu的博客
04-19 1211
该专利提出的评测方法通过结构化任务设计和量化评估体系，实现了从"结果正确性"到"过程可解释性"的范式转变。实验数据显示，相比传统方法，该方案能更有效识别模型真实推理能力差异（p-value < 0.01），为模型能力评估提供了新的技术标尺。【标注信息】申请人：北京智谱华章科技有限公司 | 申请号：CN202411172361.4 | 申请日：2024.08.26 | 公开日：2024.12.03 | 发明创造名称：一种对模型推理能力进行评测的方法、设备及存储介质。
大模型能力评估数据集都有哪些?
kcarly的专栏
02-02 2441
SuperCLUE更注重全面性、多维度的综合评估，覆盖语言理解、专业能力和中文特性能力等多个方面，同时强调国际对比和开放性。（假设存在）可能更专注于学术知识和标准化测试场景的模拟，适用于教育领域的应用。大模型在多模态能力评估数据集上的表现通常优于单一模态数据集。多模态模型通过整合多种模态的信息，能够更全面地理解任务需求，并显著提升性能。此外，多模态模型在泛化能力和适应性方面也表现更优。然而，多模态模型的计算成本较高，并且对高质量数据集的依赖性较强。
window系统复现CLAM，跑通700G-CAMELYON16
m0_69457995的博客
10-26 4602
clam计算病理学CLAM复现
大模型的认知能力：与人类认知的比较
十年运维开发经验的王义杰在此分享自己的知识和经验
02-17 1011
大模型的出现代表了人工智能技术的重大突破，它们具有强大的语言处理能力，并能够完成一些复杂的任务。未来，随着人工智能技术的不断进步，大模型可能会逐渐弥补这些差距，并在更多领域展现出超越人类的能力。未来，随着人工智能技术的不断进步，大模型可能会逐渐弥补这些差距，并在更多领域展现出超越人类的能力。近年来，随着人工智能技术的飞速发展，大模型已经取得了突破性的进展，在许多自然语言处理任务上表现出超越人类的水平。大模型可以生成文本，但它们缺乏创造力和想象力，无法提出新的想法或创造新的事物。
因果推断（一）：因果推断两大框架及因果效应
YoungshellZzz的博客
09-08 2816
本文主要介绍了因果关系的三个层级、因果推断解决的两个主要问题及两大理论框架、因果效应指标及其计算方法。
让大模型更贴近人类认知水平，上海AI实验室发布首个因果推理评测体系CaLM
python12345_的博客
05-15 1217
近日，上海人工智能实验室（上海AI实验室）联合同济大学、上海交通大学、北京大学及商汤科技发布首个大模型因果推理开放评测体系及开放平台CaLM（Causal Evaluation of Language Models，以下简称“CaLM”）。首次从因果推理角度提出评估框架，为AI研究者打造可靠评测工具，。因果推理是人类认知能力最重要的特征之一，提升因果推理能力被视为由机器智能迈向人类智能水平的关键步骤。为对大模型进行科学有效的因果推理能力评估，上海AI实验室联合团队在CaLM中提出包含。
大模型因果逻辑的欠缺
神棍之路
04-23 748
大模型在简单因果关联任务中已展现一定实用性（如客户流失分析），但其能力本质仍是统计关联的延伸。真正的因果推导需理解变量间的内在机制，而这一能力尚未在大模型中实现。未来需通过算法创新、数据构建与多模态知识融合推动进展。
LLM应用：行业大模型
产品老A，7年互联网大厂AIPM，专注探索新型人机交互
07-10 1177
大语言模型正在朝着两个方向发展，一个是以ChatGPT为代表的通用大模型，另一个则是行业大模型（或称为“专业大模型”）。如果大模型的演化分为阴阳两面，通用大模型更像是阳面，受众更广、更to C端，以个人助手、AI搜索为代表；行业大模型像是是阴面，受众都是行业专业人士、也更to B端，其中以各种医疗专业助手、法律专业助手为典型。
设计模式初识——代理模式
calm_encode的博客
10-09 209
一 概述 由于某些原因需要给某对象提供一个代理以控制该对象的访问，这时，访问对象不适合或者不能直接引用目标对象，代理对象作为访问对象和目标对象之间的中介。 二 代理模式 代理模式的核心是由代理对象来替代访问对象对目标对象的访问。 在我们实现SpringAOP的实现方式有使用代理模式。 实际实现由JdkProxy动态代理和Cglib动态代理。 基于JDK的动态代理：面向接口，需要实现具体的接口，形成代理对象，核心为InvocationHandler接口和Proxy类。 基于Cglib的动态代理：
设计模式初识——策略模式
calm_encode的博客
10-09 235
一 概述 策略模式，一个类的行为或其算法可以在运行时更改。在策略模式中，我们创建表示各种策略的对象和一个行为随着策略对象改变，同时策略对象改变context对象的执行算法。 策略模式是一种比较简单的模式，也叫做政策模式。定义一组算法，将每个算法都封装起来，并且使它们之间可以互换。 二 策略模式 策略模式的目的：定义一系列的算法，并把它们一个个的封装起来，并且使它们之间可以互相替换。 策略模式解决的问题：在多种算法相似的情况下，使用if...else所带来的复杂和难以维护。 我们开发的过程中其实经
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 270
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 692
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 425
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
最新发布
2301_80828873的博客
11-26 887
最近邻检索的方法，PQ，IVF,HNSW
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 638
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 676
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 378
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值