FAA Framework: A Large Language Model-Based Approach for Credit Card Fraud Investigations

文章主要内容总结

本文提出了一个基于大语言模型（LLM）的信用卡欺诈调查框架FAA（Fraud Analyst Assistant），旨在解决人工调查中警报疲劳、流程复杂和证据记录繁琐等问题。FAA框架利用多模态LLM的推理、代码执行和视觉分析能力，自动化完成欺诈调查的七个核心步骤，包括规划、证据收集、数据分析和报告生成。

通过对Sparkov和CCTD数据集的500例欺诈调查进行评估，结果显示FAA框架平均仅需7个调查步骤，且收集的证据中71-72%对欺诈嫌疑有高或极高影响，所有证据均具相关性且无逻辑矛盾。此外，基于FAA报告的欺诈检测模型F1分数达98-99%，证明其可靠性。研究还表明，引入视觉代理可提升证据质量和调查效率，但会增加token消耗。

文章创新点

1. 全自动化调查框架：首次实现信用卡欺诈调查全流程自动化，从证据收集到报告生成，减少人工干预。
2. LLM任务转换方法：将调查步骤拆解为LLM可执行的规划、信息收集和分析任务，结合代码执行与视觉分析能力。
3. 新型评估指标：提出证据质量评分体系，从欺诈嫌疑影响、相关性、新知识贡献和逻辑一致性四个维度量化评估。

英文原文翻译