本文探讨了如何通过本体论推理微调大型企业语言模型（LLM），以适应特定领域任务。传统的微调方法通常基于公开数据，而忽视了业务级别的领域知识。结合企业知识图谱（EKG），提出的神经符号架构能生成任务和领域特定的微调语料库，从而提升LLM在领域内NLP任务的表现。
本文是LLM系列文章，针对《Fine-tuning Large Enterprise Language Models via Ontological Reasoning》的翻译。
基于本体论推理的大型企业语言模型微调
摘要
大型语言模型（LLM）利用特定任务的训练数据，将微调作为一种适应不同目标的技术。任务特异性应该与领域定向齐头并进，即LLM的专业化，以准确地处理给定感兴趣领域的任务。然而，模型通常是根据公开可用的数据进行微调的，或者最多是根据数据库中的真实数据进行微调，而忽略了业务级别的定义和领域经验。另一方面，企业知识图谱（EKG）能够通过本体论推理来捕获和增强这些领域知识。为了将LLM的灵活性与EKG的领域定向相结合，我们提出了一种新的神经符号体系结构，该体系结构利用本体论推理的力量来构建用于LLM微调的任务和领域特定语料库。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
