Linux搭建个人大模型RAG-(ollama+deepseek+anythingLLM)

本文是远程安装ollama + deepseek，本地笔记本电脑安装anythingLLM，并上传本地文件作为知识库。

1.安装ollama

安装可以非常简单，一行命令完事。（有没有GPU，都没有关系，自动下载合适的版本）

cd 到合适的文件目录

下载安装一键安装文件

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

赋权

chmod +x ollama_install.sh

执行自动下载&安装

sh ollama_install.sh

ps：这里下载可能会很感人，所以有人说可以替换ollama下载为github下载：

替换一键安装文件中的下载网址：注意修改下边命令行中蓝色字体最新的版本

sed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.sh

但是我发现我这里还是用ollama快一点

安装完成后

查看ollama 命令

ollama -help

命令：

ollama --help

Available Commands:

  serve       Start ollama

  create      Create a model from a Modelfile

  show        Show information for a model

  run         Run a model

  stop        Stop a running model

  pull        Pull a model from a registry

  push        Push a model to a registry

  list        List models

  ps          List running models

  cp          Copy a model

  rm          Remove a model

  help        Help about any command

Flags:

  -h, --help      help for ollama

  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

配置ollama服务

暂停服务

systemctl stop ollama

修改ollama.service 文件，配置上远程访问

切换到ollama.service 路径

cd /etc/systemd/system

vi ollama.service 

增加：

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

重启服务

systemctl daemon-reload

systemctl restart ollama

修改后的 ollama.service 文件内容：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/data/tools/zookeeper/current/bin:/data/tools/scala/current/bin:/data/tools/kafka/current/bin:/data/tools/hadoop/current/bin:/data/tools/hadoop/current/sbin:/data/tools/hive/current/bin:/data/tools/spark/current/bin:/data/tools/spark/current/sbin:/data/tools/eagle/current/bin:/data/tools/flink/current/bin:/data/tools/maven/current/bin:/opt/jdk-11.0.15/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

ps: 注意这两句不要加到最后边，要加到 [Service] 后边

验证远程访问

用本地PC笔记本电脑的浏览器，访问下远程部署ollama服务的机器，

http://远程机器IP:11434

出现

Ollama is running 就OK了

2.安装deepseek

下载deepseek模型

ollama pull deepseek-r1:7b

或者 deepseek-r1:1.5b

（别管有没有GPU，有16G内存就上7B）

报错：连接超时，重新下载即可

查看ollama 安装大模型目录

ollama list

本地测试模型，启动

ollama run deepseek-r1:1.5b

对话效果：

1.5b速度还是可以的，但是相当纸张..

关闭的话

ollama stop deepseek-r1:1.5b

远程访问的话，只需要下载好就行了，ollama服务开启就OK， systemctl restart ollama

不需要run 起来模型

后边安装的anythingLLM 会自动连接上ollama，并访问到ollama已经安装的模型

3.安装anythingLLM

本地笔记本电脑安装anythingLLM

AnythingLLM | The all-in-one AI application for everyone

我是window 64位

下载后安装

我这里选所有用户

找个位置

选择LLM模型，

如果机器性能一般的话，可以把 ollama keep alive 时长调大，让机器慢慢运算

LLM提供商 选ollama

然后在 Ollama Base URL 输入远程部署的ollama 机器IP和 端口

如果连接成功的话，Ollama Model  会自动显示已经下载好的模型。

maxtoken 选项可以填大一点

对话测试

上传本地文件

选择文件上传

移动文件给对话工程

至此大功告成！！！

Linux版本

下载安装文件

curl -fsSL https://cdn.anythingllm.com/latest/installer.sh 

切换非root用户

su 普通user

不然会报错：>> This script should not be run as root. Please run it as a regular user.

查看当前用户列表： ls /home

执行安装命令

sh installer.sh