Orion-14B-Chat-Plugin本地部署的解决方案

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了Orion-14B-Chat-Plugin本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。

1. 前言

  Orion-14B系列大语言模型是由猎户星空发布的新一代对话预训练模型。其中主要包含了基座模型(Orion-14B-Base)、Chat模型(Orion-14B-Chat)、LongChat模型(Orion-14B-LongChat)、RAG模型(Orion-14B-Chat-RAG)、Plugin模型(Orion-14B-Chat-Plugin)以及两个量化后的In4模型：Orion-14B-Base-Int4、Orion-14B-Chat-Int4。

  Orion-14B-Base是一个具有140亿参数的多语种大模型，该模型在一个包含2.5万亿token的多样化数据集上进行了训练，涵盖了中文、英语、日语、韩语等多种语言