ToMMeR -- Efficient Entity Mention Detection from Large Language Models

文章核心总结与翻译

一、主要内容

ToMMeR（Token-Matching Mention Recognition）是一种轻量级实体提及检测模型，旨在从大型语言模型（LLM）的早期层中高效提取实体提及（即识别文本中指向实体的文本片段）。该模型仅含不到30万个参数，无需提示工程、模式输入或文本生成，通过冻结LLM骨干网络并探测其早期层表示，实现了高性能的提及检测。

在13个命名实体识别（NER）基准测试中，ToMMeR的零样本召回率达93%，经LLM判定的精确率超90%，且极少产生虚假预测。跨模型分析表明，不同架构（1400万至150亿参数）的LLM在提及边界识别上高度一致（DICE系数>75%），证实提及检测是语言建模的自然涌现能力。当扩展跨度分类头后，ToMMeR在标准基准测试中实现了接近最先进水平的NER性能（F1值80%-87%），为信息提取管道提供了模块化、与模式无关的高效解决方案。

二、创新点

1. 轻量级探测架构：仅需不到30万参数，可在几小时内完成训练，无需修改LLM参数，直接从LLM早期层提取提及跨度，避免了提示依赖和高延迟问题。
2. 涌现能力验证：通过跨模型、跨层分析，证实不同规模和架构的LLM均能稳定编码实体提及边界，且该能力在模型早期层即已形成，并非特定数据集或架构的产物。
3. 零样本泛化与灵活扩展：在13个不同领域的NER基准测试中实现高召回率，支持零样本迁移；扩展分类头后可快速适配完整NER任务，在 autoregr