使用ollama + AnythingLLM快速且简单的在本地部署千问大模型

不多说,直接开始

一、安装ollama

ollama官网:https://ollama.com/
下载地址:https://ollama.com/download

打开以后注册并下载即可

找到自己的系统安装即可

二、下载模型并运行ollama

Ollama在Windows系统上默认安装在C:\Users\<username>\\AppData\Local\Programs\Ollama路径下。这里的<username>是你的Windows用户名。

安装ollama以后,在这个路径下安装的默认路径下进入cmd,然后输入指令:ollama run qwen2.5

我是已经装好了,所以输入指令是直接运行这个模型,如果没有下载的话就是直接下载。

要下载其他的模型也可以在网站中找:https://ollama.com/library

常用的命令有:

  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

可以看到页面中让执行ollama run qwen2.5即可

一般来说run是用来跑模型的,但是如果本地没有这个模型的话,ollama会自动下载

PS:国内的网络问题不知道有没有解决,下载模型的时候偶尔速度很快,但是很多时候速度很慢以至于提示TLS handshake timeout,这种情况建议重启电脑或者把ollama重启一下(我下载的时候挂了梯子,下载速度还比较正常)

下载完成以后我们输入ollama list可以查下载了哪些模型

这里我们直接输入ollama run qwen2.5,就可以开始对话了

三、下载并配置AngthingLLM

AngthingLLM官网:https://useanything.com
下载链接:https://useanything.com/download

同样的选择对应的系统版本即可

在使用前,需要启动Ollama服务

执行ollama serve,ollama默认地址为:http://127.0.0.1:11434

然后双击打开AngthingLLM

我已经配置过,所以不好截图最开始的配置界面了,不过都能在设置里面找到

首先是LLM 首选项,选择ollama,URL填写默认地址,后面的模型选择qwen2.5,token填4096

向量数据库就直接默认的LanceDB即可

此时我们新建工作区,名字就随便取,在右边就会有对话界面出现了

你就有了自己本地的语言模型了

接下来上传自己的数据搭建一个自己的知识库AI

点击上传键后,在My Documents中上传自己的数据文件,再Move to Workspace

这样AI就能用知识库里的资料来回答你的问题,并在提供答案时注明所引用的信息来源。

其实整个过程并不复杂,唯一耗时的环节就是下载模型。我原本打算使用Open WebUI,但由于我的电脑上没有安装Docker,所以转而使用了AnythingLLM。等将来有时间了,我打算设置Docker环境,以便使用Open WebUI。

如果模型实在下不下来,也可以搞离线模型

Windows系统下ollama存储模型的默认路径是C:\Users\wbigo.ollama\models,一个模型库网址:魔搭社区

### DeepSeek、Ollama、OpenWebUI 和 AnythingLLM 的局域网本地部署及调用方法 #### 部署准备 为了在局域网中成功部署和调用这些服务,需先确认基础环境已经搭建完毕。通常情况下,Ollama 是核心组件之一,它提供了轻量级的推理能力,并支持多种大型语言模型(LLMs)。以下是具体的部署流程: --- #### 1. 安装 Docker 并拉取 Ollama 镜像 Docker 是运行 Ollama 的必要工具。通过以下命令可以安装并启动 Ollama: ```bash docker pull ollama/ollama docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama ``` 如果设备具备 GPU 支持,则可以通过 `--gpus` 参数启用 GPU 加速模式[^4]。 进入容器后可进一步下载所需的模型文件: ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:8b ``` 上述操作完成后,Ollama 将作为 HTTP API 接口提供服务,默认监听端口为 `11434`。 --- #### 2. 使用 OpenWebUI 调用 Ollama OpenWebUI 是一款图形化界面工具,能够简化与 LLMs 的交互过程。其配置方式如下所示: - **克隆仓库**:从 GitHub 获取最新版本代码。 ```bash git clone https://github.com/open-web-ui/webui.git cd webui ``` - **修改配置文件**:编辑 `config.json` 文件以指定目标地址指向本地图形接口的服务路径。 ```json { "api_url": "http://<服务器IP>:11434", "model_name": "deepseek-r1" } ``` 此处 `<服务器IP>` 应替换为实际主机 IP 地址或域名。 - **启动 Web UI** ```bash npm install && npm start ``` 此时访浏览器中的 URL 即可通过可视化界面对接至后台运行的 Ollama 实例。 --- #### 3. 添加 AnyThingLLM 插件扩展功能 AnyThingLLM 可视为一种增强型插件框架,允许开发者轻松集成第三方资源库或者定制专属逻辑模块。具体实现步骤包括但不限于以下几个方面: - 确定所需加载的功能集; - 编写适配器脚本来桥接不同平台间的数据流传输协议; - 测试最终效果验证兼容性和稳定性。 例如,在 Python 中创建一个简单的客户端程序用于发送请求给远程节点: ```python import requests url = 'http://localhost:11434/api/generate' payload = {"prompt":"hello world","max_tokens":50} response = requests.post(url, json=payload) print(response.text) ``` 以上片段展示了如何利用 RESTful APIs 来获取预测结果[^1]。 --- #### 总结说明 综上所述,整个工作流涵盖了从基础设施建设到高级特性开发等多个层面的内容。借助于现代化 DevOps 工具链的支持,即使是在缺乏专用硬件加速卡的情况下也能顺利完成任务需求[^2]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值