A Multi-faceted Analysis of Cognitive Abilities: Evaluating Prompt Methods with Large Language Mo...

文章总结与翻译

一、主要内容

本文聚焦医疗领域大语言模型（LLMs）在临床研究报告合规性评估中的应用，以CONSORT清单（随机对照试验报告指南）为评估基准，通过行为、认知和元认知多维度分析框架，系统探究了两款代表性LLM（通用型gemma-3-27b-it与医疗专用型medgemma-27b-text-it-mlx）在三种提示策略（零样本思维链、角色扮演审计师、少样本模式学习）下的表现。

研究构建了含50篇临床论文、73个CONSORT条目、572个独特评估对的专家验证数据集，采用预期校准误差（ECE）、基线归一化相对校准误差（RCE）等核心指标，结合推理分数、合规性分数及行为模式映射，全面分析模型的认知适应性、校准误差与元认知可靠性。结果显示，两款模型均存在严重的校准偏差和过度自信（ECE均>0.74，远超通用机器学习校准基准<0.15），语义F1分数偏低但医疗专用模型表现更优（较通用模型提升43.2%）；提示策略显著影响模型行为，角色扮演会加剧不确定性，少样本提示能增强推理确定性但未提升语义准确性；模型虽展现出初步的元认知能力（如表达不确定性、提出替代解释），但推理一致性和语境适配性仍不足，无法完全替代专家完成临床研究报告的合规性评估。

二、创新点

1. 评估框架创新：突破传统以准确率为核心的评估范式，建立融合认知（推理轨迹、证据强度等）、行为（证据驱动推理、语义幻觉等模式）、元认知（不确定性感知、自我评估）的多层级分析框架，首次系统揭示LLM在医疗合规评估中的“思考过程”而非仅关注输出结果。