Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Sys...

文章主要内容与创新点总结

一、主要内容

该研究聚焦于开源大语言模型（LLMs）在水电监管文档信息提取中的应用，核心是解决性能与计算资源的权衡问题。研究选取7个参数规模（0.6B-70B）的开源模型，针对美国联邦能源管理委员会（FERC）的水电许可文档，设计了4种提取方法（单步、两步、分类、思维链）和3种反思推理验证策略（宽松、中等、严格），目标提取17个关键信息字段（涵盖基础信息、流量、高程等6大类）。

研究核心发现包括：

1. 存在显著的14B参数阈值：低于该阈值的模型提取效果差（F1<0.15），且存在系统性幻觉；14B及以上模型F1值显著提升（14B模型达0.64，大型模型最高达0.77）。
2. 幻觉的特殊性：小模型的完美召回率（接近1.0）并非提取成功，而是系统性幻觉的表现，即模型在信息缺失时仍生成看似合理的内容。
3. 方法有效性差异：分类提取对小模型效果最优，思维链和反思推理仅在14B以上模型中提升性能；两步提取法在各规模模型中表现均较差。
4. 信息类型影响：容量信息（如发电容量）提取效果最好（平均F1=0.509），环境信息（如水温控制）最难提取（平均F1=0.075），且跨模型规模均存在提取障碍。

二、创新点

1. 首次建立水电监管场景下开源LLM的资源-性能映射：明确14B参数阈值这一关键节点，为实际部署中模型选择提供量化依据。
2. 揭示幻觉的“信号检测悖论”：提出小模型高召回率与低精度的矛盾本质是“元幻觉”（模型无法识别自身提取错误），构建信号检测理论框架