Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders

主要内容

1. 研究背景：大语言模型发展促使人工文本检测变得重要，但现有检测方法缺乏可解释性。稀疏自动编码器可用于提取文本可解释特征，本研究将其应用于人工文本检测，利用来自Gemma-2-2b模型残差流的SAEs进行特征分析。
2. 研究方法：采用Gemma-2-2B模型及预训练的自动编码器从残差流提取特征，用XGBoost分类器评估特征表现力并确定重要特征，还使用阈值分类器、人工解释、特征导向和GPT-4-o模型辅助分析。
3. 实验结果
   • 检测质量：SAE衍生特征在检测人工生成文本上表现良好，部分特征通用性强，SAE特征在训练和其他子集上优于激活特征，在16层时SAE衍生特征性能超过MTL模型。
   • 特征分析：区分通用特征和特定领域或模型特征，分析特征对文本长度、句法异常和攻击的敏感性，发现易受攻击和浅层次文本属性的特征与重要特征重叠少。
4. 重要特征解释：对关键特征进行解释，如特征3608与文本复杂度相关，特征4645与断言性相关等，还分析了特定领域特征，如arXiv领域的句法复杂度特征、finance领域的过度解释特征等。