【论文笔记】As Confidence Aligns: Exploring the Effect of AI Confidence on Human Self-confidence

论文信息

论文标题: As Confidence Aligns: Exploring the Effect of AI Confidence on Human Self-confidence in Human-AI Decision Making - CHI 25
论文作者： Jingshu Li，Yitian Yang，Q. Vera Liao，Junti Zhang，Yi-Chieh Lee - NUS
论文链接： https://arxiv.org/abs/2501.12868

---

论文概要

研究动机： 人机决策的理想目标是实现互补协作 ，其中一种实现方式是根据人机双方对各自决策的不确定性水平（即置信度）来分配决策负担 。然而，AI 置信度可能会影响用户的自我置信度及其校准，从而使这种优化变得困难 。

主要结论：

1. 信心一致性 (Confidence Alignment)： 在人机决策过程中，用户的自我置信度确实会与 AI 的置信度趋于一致 。
2. 持久性 (Persistence)： 这种一致性甚至在 AI 不再参与的独立决策任务中仍然持续存在 。
3. 校准影响 (Calibration Effect)： 信心一致性会影响用户的自我置信度校准，通常会导致校准变差 。
4. 反馈影响 (Feedback Effect)： 实时正确性反馈（Real-time correctness feedback）的存在会减弱这种一致性的程度 。

核心观点： 用户的自我置信度并非独立于 AI 的置信度 。旨在改善人机协作的实践者和设计者必须意识到这一现象及其潜在的不利影响 。

---

研究背景

• 人机互补协作 (Complementary Collaboration)： 目标是达到优于任何一方单独工作的结果 。实现互补协作的关键在于利用人机双方的置信水平进行适当的依赖或决策委托 。
• 置信度校准 (Confidence Calibration)： 指个体对其决策的置信水平（先验判断）与这些决策的实际准确性（后验证据）之间的对应程度 。校准不良（Miscalibration）会损害人类的自我依赖和对 AI 的适当依赖，进而影响人机决策的效率 。
• 人类信心一致性 (Human Confidence Alignment)： 已有研究表明，在人类群体决策中，个体成员的自信心会趋向于与同伴的自信心保持一致，并且这种一致性在群体决策结束后仍可能保留 。
• AI 模仿 (AI Imitation)： 计算机作为社会行为者 (CASA) 理论认为，人们会自然而然地使用社交启发式与计算机互动，并可能模仿 AI 和机器人的行为和观点 。

---

研究问题 RQs

本研究提出了三个核心研究问题：

RQ1： AI 置信度对人类自我置信度有何影响？它们是否会趋于一致，以及一致的程度如何？

• RQ1.1： 不同的人机决策范式（AI 作为顾问、AI 作为对等协作者、AI 作为决策者受人类监督）如何影响信心一致性？
• RQ1.2： 实时反馈的存在如何影响信心一致性？

RQ2： 人类自我置信度与 AI 置信度的一致性如何影响人类自我置信度的校准？其后果是什么？

RQ3： 在 AI 辅助决策中（AI 作为顾问），人类对最终人机联合决策的置信度与 AI 置信度的一致程度如何？

---

研究方法

实验设计： 在线随机行为实验，混合设计（$N=270$），采用 $2\times 3$ 组间因素设计。

• 组内因素 (Within-subject)： 3 个任务阶段（每阶段 40 个任务）
  1. 阶段 1 (独立任务)： 测量基线自我置信度 。
  2. 阶段 2 (协作任务)： 与 AI 协作，测量潜在的一致性 。
  3. 阶段 3 (独立任务)： 测量一致性的持久性 。
• 组间因素 (Between-subject)： $2\times 3$
  1. 实时反馈： 有反馈 vs. 无反馈 。
  2. 人机决策范式： AI 作为顾问、AI 作为对等协作者、AI 作为决策者受人类监督 。

任务： 收入预测任务（预测年收入是否超过 50,000 美元），基于 UCI Adult Income 数据集 。

AI 模型： 随机森林 (Random Forest)，在协作阶段的准确率为 80%，平均置信度为 80.40% 。

主要测量指标：

• 信心一致性程度： 通过 AI 平均置信度与参与者平均自我置信度之间的绝对差值来衡量（差值越小，一致性越高） 。
• 自我置信度校准： 采用**预期校准误差（ECE）**来衡量（ECE 值越小，校准越好） 。

---

核心结果 Results

RQ1：AI 信心对人类自我自信的影响

• 发生一致性： 参与者的自我置信度与 AI 置信度之间的绝对差值在阶段 2（协作）显著低于阶段 1（基线） ，表明人类自我置信度趋向于与 AI 置信度一致 。
• 一致性持久性： 阶段 3（独立）的绝对差值仍显著低于阶段 1，但高于阶段 2 。这表明一致性在人机协作结束后，在独立任务中仍能持续，尽管有所减弱 。

RQ1.1：人机决策范式的影响

• 无显著影响： 不同的人机决策范式（顾问、对等协作、监督）对信心一致性没有显著的主效应或交互效应 。

RQ1.2：实时反馈的影响

• 反馈减弱一致性： 实时反馈的存在降低了信心一致的程度 。
• 无反馈情况： 在没有实时反馈的情况下，一致性很强，并显著持续到阶段 3 。
• 有反馈情况： 在有实时反馈的情况下，阶段 2 有一致性，但阶段 3 与阶段 1 之间没有显著差异，表明一致性的持久性被实时反馈显著抑制 。

RQ2：一致性对校准及其后果的影响

• 校准变差： 信心一致性通常会导致参与者在阶段 2 的自我置信度校准变差（ECE 升高） 。
• 后果： 自我置信度校准变差与不适当依赖（Over-reliance 和 Under-reliance）AI 或人类行为的比例增加有关，并最终导致人机决策效率（准确性）降低 。

RQ3：对最终联合决策信心的影响

• 更高的一致性： 在“AI 作为顾问”范式中，人类对最终联合决策的置信度与 AI 置信度的一致程度，比他们对初始独立决策的自我置信度与 AI 置信度的一致程度高得多 。这表明人们在考虑 AI 建议时，一定程度上采纳了 AI 对自身预测的置信度 。

---

总结

这篇论文首次系统地探究了人工智能（AI）所表达的置信度（Confidence）如何影响人类的自信（Self-confidence），以及这种影响对人机协作决策有效性的后果。研究发现人类的自信会向 AI 的置信度靠拢（即“信心一致”），且这种一致性会影响人类的自信校准（Calibration）并降低人机决策的效率。

理论贡献

“AI的置信不仅是性能指标，更是认知影响力工具。”

1. 扩展理论： 将“信心一致性”理论从人与人之间的互动扩展到人与 AI 之间的互动 。
2. 填补空白： 证明了人类自我置信度并非独立于 AI 置信度 ，填补了 AI 置信度对人类认知影响的空白 。
3. 持久影响： 提供了实证证据，证明自我置信度一致性在人机互动后的独立任务中具有持久影响 。

设计启示

1. 缓解不良影响： 设计者必须关注 AI 置信度对人类自我置信度校准的潜在不利影响 。
2. 利用反馈： 在人机互动中，整合帮助人类识别其能力（例如提供准确性反馈）的元素，可以有效减轻由信心一致性导致的校准问题 。
3. 定制化信心表达： 未来系统可以根据用户的能力和自信类型（如过度自信或缺乏自信的用户），定制 AI 的信心表达（例如为过度自信的用户匹配较低置信度的 AI），从而更好地校准用户的自信心，促进更有效的人机协作 。

未来可以关注的方向

1. 关注人类认知和行为与 AI 的一致性，以促进更和谐的人机关系 。
2. 研究 AI 置信度不完美（例如过度自信或不足自信）时对信心一致性的影响 。
3. 探索个体特质自信（Trait Self-confidence）对信心一致过程的影响 。