Transferable Modeling Strategies for Low-ResourceLLM Tasks: A Prompt and Alignment-BasedApproach

文章主要内容总结

本文聚焦于低资源语言或领域场景下大语言模型（LLMs）的迁移与适应能力不足的问题，提出了一种基于提示和对齐的可迁移建模策略。该策略构建了一个统一框架，整合知识迁移模块与参数高效微调方法，通过引入知识对齐损失和软提示调优，引导模型在最少标注数据下有效吸收目标语言或任务的结构特征，同时结合轻量级适应模块降低计算成本，并采用冻结策略和提示注入保留模型原有知识以实现快速适应。

实验方面，在XTREME数据集的XQuAD（跨语言问答）、MLQA（多语言问答）、PAWS-X（对比句对分类）等子任务上进行了验证，结果显示该方法性能优于现有多语言预训练模型和主流迁移方法，尤其在数据极度稀缺时优势显著，且具有更高的稳定性和泛化能力，适用于复杂语义建模和多语言处理任务。

文章创新点

1. 统一框架设计：首次将知识迁移模块、软提示调优、知识对齐损失与参数高效微调整合为统一框架，实现低资源场景下的高效迁移与适应，兼顾模型通用能力保留与任务特异性适配。
2. 知识对齐机制：引入知识对齐损失（(L_{align})），通过约束源语言与目标语言在共享表征空间的特征映射差异，促进跨语言语义一致性，缓解低资源语言数据稀缺导致的语义偏差。
3. 软提示调优与正则化结合：设计可学习的软提示向量（(P)）嵌入输入，结合正则化项（(\beta \cdot\left| \theta-\theta_{0}\right| _{2}^{2})）避免模型在适应新任务时发生灾难性遗忘，平衡知识保留与新信息吸收。