重新出发的LLM本地部署——DeepSeek加持下的Ollama+OpenWebUI快速部署

DeepSeek 这真的是太惊艳了，发布出来的模型这么能打，在线的版本使用起来也是丝滑连招，感觉效果比起之前一直用智谱 chatglm4 更好用，想着本地化部署一下。
本来以为，会和之前在开发测试 transformers 的模型和代码一样，需要自己去配置写 langchain 和 streamlit 的，但是看下来，实际上最简单并且家用的方法。
可以直接 Windows 装 Ollama ，Docker 化部署 OpenWebUI，就能够本地局域网使用了，于是开始配置部署，并进行下记录。
这份记录可能会随着本地配置的内容，调整一些细节，供各位看官参考。

CUDA

好久没有用自己的台式机显卡去做一些开发了，之前还是在用的CUDA11.0，担心是不是需要升级下，配合新的系统，所以直接下了12.6的CUDA包，安装并清理了历史CUDA环境

Ollama

ollama官网下载，window基本上是傻瓜式的
默认安装完了，在 C:\Users{your_user_name}\AppData\Local\Programs\Ollama下面，磁盘不够可以拷贝到其他盘，然后链接回来

mklink /D "C:\Users\{your_user_name}\AppData\Local\Programs\Ollama" "D:\software\Ollama"

打开一个命令窗口，输入ollama能看到帮助命令使用方式

我本地有一个2080TI的卡，Deepseek能跑到14b的模型