The Moral Gap of Large Language Models

文章主要内容总结

本文聚焦大型语言模型（LLMs）在道德基础检测任务中的表现，通过系统对比最先进的LLMs（如Claude Sonnet 4、GPT-o1-mini等）与微调的Transformer模型（如DeBERTa、RoBERTa），评估两者在Twitter（MFTC）和Reddit（MFRC）数据集上的性能。研究采用ROC、PR、DET曲线等多维度评估指标，发现LLMs存在显著性能差距：即使经过提示工程优化，仍表现出高假阴性率，对道德内容（尤其是“忠诚”“神圣”等维度）的检测存在系统性漏检；而任务特定的微调Transformer模型在道德推理任务中表现更优。研究还分析了LLMs的局限性（如保守预测偏差），并为模型选择和部署提供了实践建议。

创新点

1. 全面评估：首次系统对比最先进LLMs与微调Transformer在道德基础检测任务上的表现，建立了域内和跨域场景的性能基准。
2. 严谨方法论：采用ROC、PR、DET曲线等多维度评估框架，解决了以往仅依赖ROC分析的类别不平衡问题，提供更全面的性能洞察。
3. 错误分析与实践指导：明确LLMs的局限性（如58-90%的高假阴性率、特定道德基础的检测失败模式），并基于证据提出模型选择、提示工程限制及部署建议。

翻译部分

摘要

道德基础检测对于分析社会话语和开发符合伦理的人工智能系统至关重要。尽管大型语言模型在多种任务中表现出色，但其