Evaluating Large Language Models (LLMs) in Financial NLP: A Comparative Study on Financial Report...

文章主要内容总结

本文针对大型语言模型（LLMs）在金融自然语言处理（FinNLP）任务中的表现进行了系统性评估，具体研究如下：

1. 研究对象：选取GPT、Claude、Perplexity、Gemini和DeepSeek五个主流LLM，以“七大科技公司”（苹果、微软、亚马逊、字母表、英伟达、Meta、特斯拉）2022-2024年的10-K文件（年度报告）中“业务部分（Item 1）”为分析对象。
2. 评估方法：采用三种评估方式：
   • 人类标注：从相关性、完整性、清晰度、简洁性、事实准确性五个维度评分；
   • 自动词汇-语义指标：包括ROUGE（1、2、L）、余弦相似度、Jaccard相似度；
   • 模型行为诊断：分析跨模型余弦相似度和提示词级响应方差。
3. 主要结果：
   • GPT表现最优，输出最连贯、语义对齐且上下文相关；
   • 其次是Claude和Perplexity；
   • Gemini和DeepSeek输出变异性更大，一致性较低；
   • 模型输出的相似度和稳定性因公司和时间而异，对提示词设计和源材料敏感。

文章创新点

1. 测试了LLM对提示词设计和信息量的敏感性，揭示了不同模型结构的行为模式；
2. 创建了可复现的基准，通过聚焦详细信息（而非数字）来测试L