Detecting Latin in Historical Books with Large Language Models: A Multimodal Benchmark

文章核心总结与创新点

一、主要内容

本文聚焦于一项新任务——从多语言、多版式的18世纪英国历史文献（源自ECCO语料库）中检测并提取拉丁语片段，旨在为历史学家和语言学家追踪语言世俗化进程提供支持。研究构建了包含724页标注数据的多模态基准数据集，将拉丁语使用细分为12类功能场景，并设计了两阶段任务框架：页面级拉丁语存在检测（Task 1）和拉丁语片段提取（Task 2）。通过对主流大型语言模型（LLM）和多模态大型语言模型（MLLM）的系统基准测试，结合OCR后校正、模糊匹配等评估方法，验证了现代模型在嘈杂历史文献中实现可靠拉丁语检测的可行性，同时分析了模型在不同语言使用场景、输入模态下的性能差异与误差来源。

二、创新点

1. 定义新任务：首次提出历史文献中拉丁语检测的多模态任务，将语言识别与片段提取结合，针对历史文本的复杂性（如古体语法、复杂版式、OCR噪声）设计解决方案。
2. 构建专用数据集：创建包含724页标注的基准数据集，覆盖12类拉丁语使用场景，经历史文献专家验证，为该任务提供首个专用评估资源。
3. 设计鲁棒评估框架：结合OCR后校正、规则化预处理和模糊匹配算法，解决历史文本中的噪声干扰和文本变异问题，确保跨模型、跨模态评估的公平性。
4. 系统基准测试：首次对多款主流LLM/MLLM（含开源与闭源模型）进行多模态场景下的全面测试，揭示了模型规模、推理模式、输入模态对任务性能的影响。