SODBench: A Large Language Model Approach to Documenting Spreadsheet Operations

一、文章主要内容总结

该研究聚焦电子表格操作文档化（Spreadsheet Operations Documentation, SOD）这一未被充分探索的领域，旨在解决电子表格缺乏系统文档导致的可重复性差、知识转移困难、协作效率低等问题。核心内容包括：

1. 问题背景：电子表格在商业、会计、金融等领域广泛应用，但缺乏类似软件开发中GitHub的版本控制和结构化文档工具，用户操作难以追溯，导致机构知识流失、新员工上手慢、合规风险高等问题。现有电子表格操作工具（如VBA、Python库、BI平台）或需编程技能，或成本高、灵活性不足，无法满足普通用户的文档化需求。
2. 核心任务定义：提出SOD任务，即把电子表格操作代码转换为人类可读的自然语言描述，实现操作流程的透明化、可追溯性。
3. 数据集构建：创建SODBench基准数据集，包含111个经过验证的电子表格操作代码-自然语言描述对，数据源于对SheetCopilot数据集的逆向工程和筛选验证。
4. 模型评估：使用BLEU、GLEU、ROUGE-L、METEOR四种指标，评估了GPT-4o、GPT-4o-mini、LLaMA-3.3-70B、Mixtral-8x7B、Gemma2-9B五种大语言模型（LLM）的代码-自然语言转换性能，发现GPT-4o、GPT-4o-mini和LLaMA-3.3-70B表现相当且最优，模型性能并非仅由参数规模决定，还受架构、提示工程、少样本学习等因素影响。
5. 辅助方案：设计检索增强生成（R