Towards Automated Regulatory Compliance Verification in Financial Auditing with Large Language Mo...

文章主要内容总结

本文聚焦于利用大型语言模型（LLMs）实现财务审计中监管合规性的自动验证，旨在解决传统审计中人工验证合规性的低效问题。研究对比了开源LLMs（如Llama-2系列）与专有LLMs（如OpenAI的GPT系列）在合规性检测中的性能，使用了普华永道（PwC）提供的两个自定义数据集（基于国际财务报告准则IFRS和德国商法HGB），并分析了不同提示词设计对模型表现的影响。

主要发现包括：

1. 开源模型Llama-2 70B在检测不合规（真阴性）方面表现优异，超过所有专有模型；
2. 专有模型（如GPT-4）在多种场景中整体表现最佳，尤其在非英语语境（如德语HGB数据集）中优势明显；
3. 提示词设计对模型性能影响显著，简洁且带示例的提示词效果更优，而复杂提示技术（如思维链、思维树）未持续带来提升；
4. 模型在非英语数据集上表现普遍较差，可能与训练数据以英语为主有关。

文章创新点

1. 扩展合规性验证能力：在已有ZeroShotALI推荐系统的基础上，首次系统探索“开箱即用”LLMs对推荐文本段落的合规性验证能力，填补了现有AI工具仅推荐文本但不验证合规性的空白。
2. 开源与专有模型的深度对比：针对财务审计场景，首次全面对比Llama-2系列与GPT系列的合规性检测性能，揭示开源模型在特定任务（如真阴性检测）中的潜力，以及专有模型的泛化优势。
3. 提示词设计的影响分析：系统评估了8种提示词设计（包括思维链、思