u014073556的博客

网上大部分教程都是在线部署，完全离线私有化部署的文章不多，本文介绍从GPU驱动离线安装、cuda离线安装、ollama离线安装、deepseek离线部署、open webui离线安装几个方面，让小白0基础也可以私有化部署大模型deepseek-R1。我使用的设备是银河麒麟V10操作系统，海光CPU，内存128G，三张英伟达T4显卡（每张显存16G）。这里说一下国产化海光芯片c86架构就是源自于x86架构，与intel和amd等x86架构cpu使用并没有区别。

大模型时代，开源与闭源模型不断涌现，构成了大模型领域的双重引擎。开源大模型为AI领域注入了新的活力，基于开源大模型的应用如雨后春笋般出现，同时也为研究者和开发者提供了更广阔的创新空间。在此，，让我们共同探寻这些令人振奋的进展。