软件安装ing

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

未完待续~

---

一、Ollama 部署本地大模型指南

Ollama是一个开源的框架，旨在简化在本地运行大型语言模型（LLM）的过程。是一个高效、功能齐全的大模型服务工具，通过简单的安装指令和一条命令即可在本地运行大模型，极大地推动了大型语言模型的发展和应用

##在下载 ollama 之前，先去配置环境变量，确保模型下载到我们想要的地方 （我没做，默认安装在了c盘）。见博客https://blog.youkuaiyun.com/qq_53795212/article/details/139690567

1.安装Oallama

1）下载ollama资源
详细见百度云网盘资源：
链接:https://pan.baidu.com/s/109eqidE_ZFkpDe-DqoK3zA
提取码:b6a3
（官方安装太慢了，使用各种快速安装方法不行，终于找到百度网盘资源）

安装完成后，打开cmd，输入以下命令验证安装是否成功：

ollama --version

如果显示版本号，说明安装成功。

2）选择模型
打开cmd,输入

ollama run deepseek-r1

运行后，你将进入交互式命令行界面，可以直接与模型对话。

DeepSeek R1提供多个版本，参数量越大，模型通常越强大，但也需要更多的计算资源。

#下载7b版本的命令：
ollama run deepseek-r1:7b
#下载1.5b版本的命令：
ollama run deepseek-r1:1.5b

3）ollama的使用
cmd中输入

ollama run <model-name>  # 运行模型
ollama list              # 展示已安装的模型
ollama show <model-name> # 查询模型信息
ollama delete <model-name> # 删除模型

2.安装Open WebUI（pip安装版）

本人安装到anaconda下的虚拟环境base（可自行更换）中。具体操作为打开anaconda prompt，激活虚拟环境base（或者自己其他的虚拟环境），再依次输入下面代码安装Open WebUI

# 官方建议使用 python3.11(2024.09.27)，conda 的使用参考其他文章
conda create -n open-webui python=3.11
conda activate open-webui
# 相关依赖挺多的，安装得一会
pip install open-webui

3.ollama 的启动

打开cmd，启动默认在 http://127.0.0.1:11434

ollama serve

或者点击开始菜单栏的ollama图标。

4.open-webui 的启动

打开cmd，输入

# 激活open-webui
conda activate open-webui
# 启动open-webui
open-webui serve

5.使用 Open WebUI

打开 http://localhost:8080/ 访问 ，第一次进入需要自助注册账户，之后可在页面上选择模型进行对话

报错：500：message=‘Internal Server Error’, url=‘http://localhost:11434/api/chat’
解决办法：更改电脑的环境变量

1）修改 API 的侦听地址和端口
Ollama API 的默认访问地址和侦听端口是http://localhost:11434，只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务，请修改 API 的侦听地址和端口：
（系统变量）
变量名：OLLAMA_HOST
变量值（端口）：:0.0.0.0
2）允许浏览器跨域请求
Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求，如果你计划在 LoboChat 等前端面板中调用 Ollama API，建议放开跨域限制。
（用户变量）
变量名：OLLAMA_ORIGINS
变量值：*

附：报错参考链接

1）文件上传不识别编码，这设置中文本大模型，该错误是由于 embedding_model 设置不当而引起的。点击头像（右上角）->设置 -> 管理员设置 -> 文档 -> 嵌入模型，添加嵌入模型，可选择deepseekr1。
AttributeError: ‘NoneType’ object has no attribute ‘encode’

总结

不好用，怀疑可能是Open WebUI使用pip安装的原因，可以使用docker安装试一下ε=(´ο｀*)))，唉，最后使用的AnythingLLM（安装包见夸克网盘）。具体操作见如何用DeepSeek R1搭建个人知识库？

二、Linux安装

后面更新