SilverSight: A Multi-Task Chinese Financial Large Language Model Based on Adaptive Semantic Space

本文是LLM系列文章，针对《SilverSight: A Multi-Task Chinese Financial Large Language Model Based on Adaptive Semantic Space Learning》的翻译。

摘要

大型语言模型（LLM）正越来越多地应用于各个专业领域，利用其广泛的知识来支持这些领域中的多种场景。然而，每个领域都包含各种需要学习的特定任务，这些领域中多样化、异构的数据可能会导致模型任务转移过程中的冲突。为了应对这一挑战，我们的研究引入了一种自适应语义空间学习（ASSL）框架，该框架利用语义空间内数据分布的自适应重组来提高多专家模型的性能和选择效率。利用这个框架，我们训练了一个名为“SilverSight”的金融多任务LLM。我们的研究结果表明，我们的框架可以实现接近仅使用10%数据进行全数据训练所获得的结果，同时也表现出很强的泛化能力。

1 引言

2 前言

3 自适应语义空间学习

4 实验

5 讨论

6 结论

在这项研究中，我们主要研究了基于语义空间的自适应学习对多专家大型语言模型系统性能的影响。目标是基于语义空间划分互补和冲突的任务数据，使用嵌入位置自适应地选择多个专家，并使用模型本身和语义空间的密度分布分两个阶段调整训练数据分布。该框架使模型在进行多任务学习时具有更好的性