The Ethics Engine: A Modular Pipeline for Accessible Psychometric Assessment of Large Language Model

该文章提出了一款名为“伦理引擎（Ethics Engine）”的模块化Python工具，核心是通过心理测量方法评估大语言模型（LLMs）的价值观表达，降低跨学科研究门槛，同时验证了工具实用性并探讨了其对AI研究与治理的意义。

一、文章主要内容

1. 研究背景：LLMs日益介入人类沟通与决策，但其价值观表达缺乏系统测量，现有技术指标（如困惑度、MMLU）无法评估道德与意识形态倾向，且评估工具多局限于技术领域，跨学科研究者难以参与。
2. 核心工具：伦理引擎
   • 功能：模拟心理学评估人类的方式，通过“角色设定（personas）”系统操控模型响应的社会语境，让模型以不同意识形态立场（如进步主义者、自由意志主义者）回答心理测量问题，再将结果映射到道德维度。
   • 架构：采用模块化流水线设计，分为问题生成（匹配评估题与角色）、多模型API并行查询（获取量化评分与理由）、数据收集与处理（提取有效评分）三部分，支持灵活替换评估量表与角色模板。
   • 优势：实现规模化评估（1小时内处理1万+响应），兼顾科学严谨性与易用性，非技术研究者也可操作。
3. 验证与发现：爱丁堡大学神经政治学实验室使用该工具评估3个主流模型（GPT-4、Claude Sonnet、Grok）的威权主义倾向，发现模型在中立语境下威权主义得分远低于人类，而在极端意识形态角色引导下会出现不切实际的得分偏差，且模型间存在显著差