fansnn的博客

Open WebUI是一个Open WebUI 是一个可扩展的、功能丰富、用户友好的自托管 AI 平台，专为完全离线运行而设计。它支持多种 LLM 运行环境，包括 Ollama 和 OpenAI 兼容的 API，并内置了用于 RAG 的推理引擎，是一个强大的 AI 部署解决方案。安装完成deepseek之后，仅仅是有了一个大模型。可以通过命令行去聊天或者api调用，对于普通用户来说，肯定是有个ui界面的体验会更好，所以今天给DeepSeek安装一个聊天界面。

Anaconda 是一个开源的 Python 和 R 语言的发行版本，主要用于数据科学、机器学习和科学计算。它包含了大量的科学计算库和工具，并且提供了一个方便的环境管理工具，使得用户可以轻松地创建、管理和切换不同的 Python 环境。我们在部署deepseek时会需要很多工具配合deepseek使用，所需要的python环境可能不一致，导致很多潜在的问题，用anaconda的虚拟环境可以有效的应对此类问题。

安装docker是系统安装完成之后最大的坑，为了一个可用的docker版本足足花了三天时间才稳定运行起来，首先是官方的源，莫名其妙的不能用，居然还默认安装的是moby，导致很多不兼容的问题。希望官方能重视一下这个问题，官方源打包一个稳定适配的包，不要让大家再折腾了。先说第一个坑点：如果你直接用，要么提示你找不到对应的包，要么就是安装成功大概率也启动不了。如果你按照centos的方式去添加docker官方的源，再用yum的方式安装，大概率会提示你找不到需要的包。

nVidia官方驱动已经cuda安装完成之后就可以进行下一步安装ollama，用ollama来启动deepseek。Ollama 是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。安装过程根据网络环境不一样，可能速度会不一样，快一点几分钟搞定，慢一点可能要几个小时。ollama默认监听127.0.0.1:11434，如果需要更改需要修改环境变量。出现上图的时候就代表ollama安装完成了，可以在命令行中输入。在本地模型列表中看到deepseek之后，运行模型。

上一篇文章中完成了国产化操作系统openEuler 24.03-LTS-SP1的安装和IP地址配置，配置完成后，就回到了办公室用shell工具连接服务器开始操作了安装好新的操作系统第一步先更新一下。

近期在私有化部署测试DeepSeek过程中，第一期测试环境租用的腾讯云服务，开箱即用，省去了很多配置的过程，但是在第二期的测试过程中，使用了纯私有化的部署方案，采用了过去比较熟悉的CentOS7.8来部署，但是因为CentOS官方已经停止了维护，安全性已经无法保障，在部署过程中又因为环境版本的问题遇到很多坑，所以在第三期测试中就放弃了采用CentOS来做操作系统，采用了目前华为主导开源的openEuler，命令完全兼容CentOS，且LTS版本生命周期更长。

例如设置OLLAMA_KEEP_ALIVE=12h可以让模型在内存中保持12小时（默认值为5分钟），提高api的访问速度（同时会占用大量的系统内存，特别是参数很大的模型，以deepseek-r1：8b为例，需要占用大约3.3G内存）。ollama默认将模型文件下载至用户目录下的“.ollama\models”文件夹中，如果需要更改模型的存储位置，需要在系统变量中添加“OLLAMA_MODELS”变量，变量值设置为你想存储的位置；以我个人的硬件配置为例，最多可运行8b模型，命令行运行。