Evaluating Large Language Models for Phishing Detection, Self-Consistency, Faithfulness, and Explain

文章主要内容总结

本文聚焦于评估大型语言模型（LLMs）在钓鱼检测任务中的表现，重点关注模型的分类准确性、自一致性、忠实性及可解释性。研究背景为钓鱼攻击持续演化，传统检测方法难以应对，而LLMs在特定领域分类任务中展现潜力，但需同时保证预测准确性与解释的可靠性。

研究中，作者使用Nazario（钓鱼邮件）和Enron（正常邮件）数据集，对BERT、Llama-2-7B、Llama-3-8B、Wizard-7B等模型进行微调，采用三种方法：二进制序列分类、对比学习（CL）和直接偏好优化（DPO）。通过基于SHAP值的一致性度量（CC-SHAP）评估模型预测与解释的 token 对齐度，以检验内部忠实性和一致性。

主要结果显示：二进制分类微调效果最佳，BERT表现最优（验证准确率98.55%）；Llama模型的CC-SHAP分数更高（预测-解释对齐更好），但分类准确性较低（Llama 7B准确率40%，Llama 8B 30%）；Wizard模型分类准确性更高（80%），但CC-SHAP分数较低。研究揭示了模型准确性与解释一致性之间的权衡，为构建可靠的钓鱼检测模型提供了参考。

创新点

1. 多维度评估框架：首次将CC-SHAP度量应用于钓鱼检测场景，量化LLMs预测与解释的token级对齐度，系统评估模型的内部忠实性和自一致性。
2. 对比多种微调方法：系统比较二进制序列分类、对比学习、直接偏好优化（DPO）三种微调策略，发现二进制分类在准确性和损失控制上表现最优。
3. 揭示性能权衡：明确