【deepseek第一课】从0到1介绍 采用ollama安装deepseek私有化部署，并实现页面可视化

---

1. ollama安装

ollama的定义：相当于管理大模型的docker

https://ollama.com/download/linux
按照官网指引，安装

１.１　linux安装

curl -fsSL https://ollama.com/install.sh | sh

bashrc末尾修改，变更模型目录，防止系统盘满，改到大的非系统盘：
export OLLAMA_MODELS=/home/ollama/models

[root@node1 ~]# ollama --version
ollama version is 0.5.12

Redirecting to /bin/systemctl status ollama.service
● ollama.service - Ollama Service
   Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
   Active: active (running) since 五 2025-02-28 09:29:18 CST; 4s ago
 Main PID: 25114 (ollama)
    Tasks: 7
   Memory: 10.5M
   CGroup: /system.slice/ollama.service
           └─25114 /usr/local/bin/ollama serve

1.2 windows安装

windows安装注意事项：

1.如果是 windows的，修改环境变量：

2.安装目录改为非C盘，在cmd中，先cd到有安装包的目录，执行这个安装命令，修改目录
OllamaSetup.exe /DIR=D:\ollama\sofeware
安装过程如下：

程序访问ollama的三种方式
1.SpringAI
2.langeChain4J
3.deepSeek4j

2. deepSeek支持的7种蒸馏模型

2.1 蒸馏模型介绍

蒸馏模型，即知识蒸馏（Knowledge Distillation，简称 KD），是一种模型压缩技术。以下是关于它的详细介绍：
基本概念
蒸馏模型的核心思想是将一个大型复杂的教师模型的知识迁移到一个小型简单的学生模型中。教师模型是一个已经训练好的、性能强大的大型模型，通常具有较多的参数和复杂的结构。学生模型则是结构更简单、参数更少的小型模型，目标是通过学习教师模型的知识来提升自身性能。

2.2 7种模型特点

ollama官网介绍： https://ollama.com/library/deepseek-r1

参数说明：

不同的参数，需要的磁盘大小不一样，慎重选择，别把机器搞爆了。

2.3 安装deepseek-r1:14b模型

采用deepseek-r1:14b模型运行

[root@node1 ~]# ollama list
NAME    ID    SIZE    MODIFIED 

ollama相当于管理大模型的docker

安装完成后，测试一下交互

3. openwebui图形化页面安装

https://openwebui.com/

使用docker安装ollama webui,-v /home/my-openwebui 这个目录是本地磁盘映射

[root@node1 ~]# docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v /home/my-openwebui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
main: Pulling from open-webui/open-webui
7cf63256a31a: Downloading [>                                                  ]  294.9kB/28.22MB
183f0922284a: Downloading [======>                                            ]  441.4kB/3.511MB
5dbb3b698b72: Downloading [=>                                                 ]  325.9kB/16.2MB
0c5ce2cb4ecc: Waiting 
96d17593eba8: Waiting 
4f4fb700ef54: Waiting 
2671deb00349: Waiting 

安装完成后，打开页面：

docker logs -f open-webui

4. java连接大模型的三种方式

langchain4j介绍：
https://docs.langchain4j.dev/intro

5.注意事项

如果open-webui找不到ollama的模型， 需要修改监听的ip

open-webui如果有故障，docker查看日志方法
docker logs -f open-webui