Neverlanding_的博客

原创 【Oneapi+FastGPT部署本地大模型】

总结：三者之间的关系就是，OneAPI作为“中间商”接入本地大模型+FastGPT通过OneAPI生成的令牌等参数调用本地大模型。最终FastGPT可以用我们本地部署的大模型进行对话等自然语言处理。本文我们利用将Oneapi、FastGPT部署到Linux系统中的一个中。