Large Language Model for Extracting Complex Contract Information in Industrial Scenes

文章主要内容和创新点

主要内容

本文聚焦工业场景下复杂合同的信息提取任务，提出了一套基于大语言模型（LLM）的解决方案，核心包括三个步骤：

1. 高质量数据集构建：对工业合同文本进行聚类分析（基于TF-IDF编码和K-means算法），利用GPT-4提取聚类中心样本的关键信息作为标注示例，再通过GPT-3.5批量标注其他文本，生成高质量标注数据集。
2. 数据增强：从标注数据中提取关键词并随机组合，由GPT-3.5生成新的非结构化合同文本，减少模型对固定关键词模式的依赖，增强鲁棒性。
3. 模型微调与优化：基于构建的数据集对开源大语言模型（如Qwen2.5）进行微调，结合LoRA（低秩适应）技术、数据平衡等策略，提升模型在工业合同信息提取任务中的精度、召回率和效率。

实验结果表明，该方法在中文工业合同数据集上表现优异，相比传统方法（如TF-IDF+UIE、TextRank+UIE等）在准确率、召回率（ROUGE指标）和解析效率上均有显著提升，且LoRA微调、数据平衡和增强能有效提升模型性能。

创新点

1. 高效低成本的自动标注方法：针对中文工业合同，通过聚类分析和分层抽样，结合GPT-4生成标注示例、GPT-3.5批量标注，降低了数据标注成本并保证质量。
2. 基于关键词重组的数据增强策略：通过随机组合关键词生成新合同文本，减少模型对