使用ollama + AnythingLLM快速且简单的在本地部署千问大模型

最新推荐文章于 2025-06-27 15:12:50 发布
最新推荐文章于 2025-06-27 15:12:50 发布
阅读量2.2k 收藏 24
点赞数 22
CC 4.0 BY-SA版权
文章标签： 语言模型 知识图谱 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_54534211/article/details/144650571

不多说，直接开始

一、安装ollama

ollama官网：https://ollama.com/
下载地址：https://ollama.com/download

打开以后注册并下载即可

找到自己的系统安装即可

二、下载模型并运行ollama

Ollama在Windows系统上默认安装在C:\Users\<username>\\AppData\Local\Programs\Ollama路径下。这里的<username>是你的Windows用户名。

安装ollama以后，在这个路径下安装的默认路径下进入cmd，然后输入指令：ollama run qwen2.5

我是已经装好了，所以输入指令是直接运行这个模型，如果没有下载的话就是直接下载。

要下载其他的模型也可以在网站中找：https://ollama.com/library

常用的命令有：

  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

可以看到页面中让执行ollama run qwen2.5即可

一般来说run是用来跑模型的，但是如果本地没有这个模型的话，ollama会自动下载

PS:国内的网络问题不知道有没有解决，下载模型的时候偶尔速度很快，但是很多时候速度很慢以至于提示TLS handshake timeout，这种情况建议重启电脑或者把ollama重启一下（我下载的时候挂了梯子，下载速度还比较正常）

下载完成以后我们输入ollama list可以查下载了哪些模型

这里我们直接输入ollama run qwen2.5，就可以开始对话了

三、下载并配置AngthingLLM

AngthingLLM官网：https://useanything.com
下载链接：https://useanything.com/download

同样的选择对应的系统版本即可

在使用前，需要启动Ollama服务

执行ollama serve，ollama默认地址为：http://127.0.0.1:11434

然后双击打开AngthingLLM

我已经配置过，所以不好截图最开始的配置界面了，不过都能在设置里面找到

首先是LLM 首选项，选择ollama，URL填写默认地址，后面的模型选择qwen2.5，token填4096

向量数据库就直接默认的LanceDB即可

此时我们新建工作区，名字就随便取，在右边就会有对话界面出现了

你就有了自己本地的语言模型了

接下来上传自己的数据搭建一个自己的知识库AI

点击上传键后，在My Documents中上传自己的数据文件，再Move to Workspace

这样AI就能用知识库里的资料来回答你的问题，并在提供答案时注明所引用的信息来源。

其实整个过程并不复杂，唯一耗时的环节就是下载模型。我原本打算使用Open WebUI，但由于我的电脑上没有安装Docker，所以转而使用了AnythingLLM。等将来有时间了，我打算设置Docker环境，以便使用Open WebUI。

如果模型实在下不下来，也可以搞离线模型

Windows系统下ollama存储模型的默认路径是C:\Users\wbigo.ollama\models，一个模型库网址：魔搭社区

Aobu＆
关注
SpringAI通过Ollama连接大语言模型通义千问
专注技术交流、咨询
05-16 2659
随着大语言模型发展越来越成熟，Apache开源组织也出了自己的SpringAI开源工程 Spring AI项目旨在简化包含人工智能功能的应用程序的开发，避免不必要的复杂性。 该项目从著名的 Python 项目（例如 LangChain 和 LlamaIndex）中汲取灵感，但 Spring AI 并不是这些项目的直接移植。 支持所有主要模型，例如 OpenAI、Ollama、Azure OpenAI、Amazon Bedrock、Huggingface、Google VertextAI、Mistral A
使用ollama本地化部署通义千问7b
2301_81049554的博客
10-20 1486
本文介绍了Ollama，一个开源的大型语言模型（LLM）服务工具，旨在简化本地运行大语言模型的过程。通过使用Ollama，开发者、研究人员及爱好者能够更容易地在本地环境中实验、管理和部署最新的大语言模型。该工具支持多种模型，并且用户可以创建并打包自己的模型，只要这些模型采用GGUF格式。 关于Ollama的安装过程，文中指出可以通过访问其官方网站下载适用于不同操作系统的安装包。完成安装后，用户可以在命令行窗口通过输入特定命令来验证安装是否成功。
利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
qkh1234567的博客
12-16 1329
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
本地部署AI大模型三步走（Ollama+通义千问）
最新发布
WANGJUNAIJIAO的博客
06-27 1084
本文介绍如何通过Ollama框架在本地部署AI大模型。Ollama是一个开源的本地大型语言模型运行工具，可简化模型部署过程。操作步骤包括：下载安装Ollama，通过命令行下载通义千问等AI模型，并提供了修改安装路径、可视化界面部署等实用技巧。文章指出AI大模型在多个领域已展现强大能力，建议积极学习AI技术以适应趋势。文末还提供了AI大模型学习资料获取方式，包含行业报告、书籍和实战教程等资源。
ollama + Anythingllm的安装
lsyhaoshuai的博客
05-06 4963
在Linux下如果直接运行。
【大模型部署】本地部署AI大模型三步走（Ollama+通义千问）
2301_81888214的博客
03-13 2234
先给大家介绍一下今天的主角Ollama：Ollama是一个强大的工具，它能在本地轻松部署和运行大型语言模型，如Gemma, 助你轻松跨过这道门槛。
Ollama+WebUI+AnythingLLM构建个人/企业知识库
04-26
Ollama WebUI 和 AnythingLLM 提供了一种解决方案，帮助用户在本地构建自己的知识库，以替代依赖云端的大型语言模型如ChatGPT。 Ollama 是一个专门设计用于在本地环境搭建知识库的工具，它允许企业或个人在自己的...
【大语言模型应用】Ollama+AnythingLLM搭建本地私有知识库：实现AI专家系统与文档智能处理
05-08
内容概要：本文详细介绍了如何使用Ollama + Qwen（通义千问大语言模型）+ AnythingLLM搭建本地知识库，实现AI+专家系统。首先，文章讲解了Ollama的安装与使用，包括支持的操作系统、硬件要求及模型下载方法。接着，...
人工智能|预训练大模型——基于Ollama+AnythingLLM搭建本地私有知识库系统
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
09-26 3957
AnythingLLM 是 Mintplex Labs 开发的一款可以与任何内容聊天的私人ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。AnythingLLM 支持多种文档类型（PDF、TXT、DOCX等），具有对话和查询两种聊天模式。
教程Ollama+deepseek-r1:1.5b+AnythingLLM本地部署轻量级大模型
02-27
本教程将详细介绍如何在本地环境中部署一个名为Ollama+deepseek-r1:1.5b+AnythingLLM的轻量级大模型。这个模型不仅能够提供强大而稳定的服务，而且能够在网络不可用的情况下保证用户仍能使用deepseek，满足对基本AI...
DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库
weixin_44245188的博客
02-05 2952
打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。Ollama 是一个用于本地运行大语言模型（LLMs）的开源工具，提供简单的界面和优化的推理引擎。DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库。，使用户能够在个人设备上高效地加载、管理和运行 AI 模型，而无需依赖云端。其中，deepseek-r1:1.5b 换成适配你本地的模型。官网地址：https://ollama.com/
利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型
cumtchw
04-23 4921
利用ollama和open-webui本地部署通义千问Qwen1.5-7B-Chat模型
Qwen2.5本地简易部署
cy10203089的博客
11-28 1550
关于Qwen2.5的简易本地部署
RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_84495872的博客
06-12 1998
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
Windows系统在本地运行通义千问大模型配置教程（超详细）_通义千问本地部署配置需求
2301_79455190的博客
03-11 2734
本文将教给大家（windows用户）怎么在本地运行大模型，并且通过cmd进行交互，不用联网也可以进行询问。前排提示，文末有大模型AGI-优快云独家资料包哦！
使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型
热门推荐
博客之路,前途漫漫
06-18 1万+
Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。qwen-2（Qwen-2，量子阱增强神经网络版本2）是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训，Qwen-2 引入了多项关键增强功能和功能，旨在提高其性能、多功能性和跨各个领域的适用性。
【大模型系列】使用ollama本地运行千问2.5模型
万物皆字节
02-25 969
接上一篇介绍 https://blog.youkuaiyun.com/Aqu415/article/details/145668678 了本地运行大模型的方式，这篇简单介绍ollama方式。
Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问
派大夏的博客
06-14 5728
阿里通义千问发布了Qwen2，提供了0.5B～72B的量级模型，在​​Ollama官网​​可以搜索qwen2查看，本文提供了Ollama的下载（在线/离线安装）、Ollama运行模型、使用WebUI连接模型以及页面简单配置。总体还是比较简单的，更高阶的玩法，看小伙伴的反馈，后面更新比如自定义智能体、训练等。
deepseek+ollama+openwebui+anythingllm本地部署局域网调用
03-14
### DeepSeek、Ollama、OpenWebUI 和 AnythingLLM 的局域网本地部署及调用方法 #### 部署准备 为了在局域网中成功部署和调用这些服务，需先确认基础环境已经搭建完毕。通常情况下，Ollama 是核心组件之一，它提供了轻量级的推理能力，并支持多种大型语言模型（LLMs）。以下是具体的部署流程： --- #### 1. 安装 Docker 并拉取 Ollama 镜像 Docker 是运行 Ollama 的必要工具。通过以下命令可以安装并启动 Ollama： ```bash docker pull ollama/ollama docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama ``` 如果设备具备 GPU 支持，则可以通过 `--gpus` 参数启用 GPU 加速模式[^4]。 进入容器后可进一步下载所需的模型文件： ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:8b ``` 上述操作完成后，Ollama 将作为 HTTP API 接口提供服务，默认监听端口为 `11434`。 --- #### 2. 使用 OpenWebUI 调用 Ollama OpenWebUI 是一款图形化界面工具，能够简化与 LLMs 的交互过程。其配置方式如下所示： - **克隆仓库**：从 GitHub 获取最新版本代码。 ```bash git clone https://github.com/open-web-ui/webui.git cd webui ``` - **修改配置文件**：编辑 `config.json` 文件以指定目标地址指向本地图形接口的服务路径。 ```json { "api_url": "http://<服务器IP>:11434", "model_name": "deepseek-r1" } ``` 此处 `<服务器IP>` 应替换为实际主机 IP 地址或域名。 - **启动 Web UI** ```bash npm install && npm start ``` 此时访问浏览器中的 URL 即可通过可视化界面对接至后台运行的 Ollama 实例。 --- #### 3. 添加 AnyThingLLM 插件扩展功能 AnyThingLLM 可视为一种增强型插件框架，允许开发者轻松集成第三方资源库或者定制专属逻辑模块。具体实现步骤包括但不限于以下几个方面： - 确定所需加载的功能集； - 编写适配器脚本来桥接不同平台间的数据流传输协议； - 测试最终效果验证兼容性和稳定性。 例如，在 Python 中创建一个简单的客户端程序用于发送请求给远程节点： ```python import requests url = 'http://localhost:11434/api/generate' payload = {"prompt":"hello world","max_tokens":50} response = requests.post(url, json=payload) print(response.text) ``` 以上片段展示了如何利用 RESTful APIs 来获取预测结果[^1]。 --- #### 总结说明 综上所述，整个工作流涵盖了从基础设施建设到高级特性开发等多个层面的内容。借助于现代化 DevOps 工具链的支持，即使是在缺乏专用硬件加速卡的情况下也能顺利完成任务需求[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值