Fine-tuning of Large Language Models for Constituency Parsing Using a Sequence to Sequence Approach

文章主要内容与创新点总结

一、主要内容

本文聚焦西班牙语短语结构分析（ constituency parsing ）任务，提出采用序列到序列（ sequence-to-sequence ）方法微调大型语言模型（ LLM ）的技术方案，核心目标是为西班牙语语法教学工具 MiSintaxis 扩展自动句法解析功能。

1. 数据基础：以 AnCora-ES 语料库为基础（含约 50 万个单词、1.73 万个句子，以新闻文本为主），按西班牙课堂教学常用的《新西班牙语语法》标注规则适配数据格式，采用类宾州树库的括号标记法（将圆括号替换为方括号以避免与西班牙语标点混淆）。
2. 模型选择与微调：选取 Hugging Face 平台上 4 个模型（ gpt2-base-bne、gpt2-large-bne、bloom-560m、bloom-1b1 ）进行微调，考虑到模型输入token限制（ GPT-2 系列为 512 token，Bloom 系列为 2048 token ），分别采用完整语料（ 1.73 万句）和 512 token 限制语料（ 1.5 万句）两种训练方案，训练过程使用 NVIDIA A100 GPU ，设置 5 个epoch以避免过拟合。
3. 实验结果：通过 F₁ 指标评估，gpt2-large-bne 模型表现最佳，bloom-560m 模型在精度接近的情况下具有更短的推理时间；两种语料方案的结果差异较小，证明模型在不同输入长度限制下均能保持稳定性能。

</