ollama本地部署大语言模型记录

最新推荐文章于 2025-04-26 22:14:53 发布
最新推荐文章于 2025-04-26 22:14:53 发布
阅读量1.5k 收藏 20
点赞数 17
分类专栏： LLM 文章标签： 语言模型 人工智能 自然语言处理 llama chatgpt ollama gemma
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_27489877/article/details/140768066
版权

目录

最近突然对大语言模型感兴趣

同时在平时的一些线下断网的CTF比赛中，大语言模型也可以作为一个能对话交互的高级知识检索库

本篇文章旨在记录我在本地部署大语言模型的过程

安装Ollama

Ollama是一个轻量级、可扩展的框架，旨在帮助用户在本地机器上构建、运行和分享大语言模型。

前往Ollama的官网Ollama下载最新版本的安装包

需要注意的是，该软件默认安装在C盘下，所以如果有精神洁癖的小伙伴也可以使用docker部署Ollama

在终端中输入ollama --version

请添加图片描述

返回版本信息，说明安装成功

更改模型存放位置

前往系统环境变量设置，添加如下系统变量

请添加图片描述

重启Ollama

拉取模型

Gemma

目前在Ollama上，Gemma模型已经拥有超过430K的拉取次数。基本上Gemma可以算是Ollama最热门的模型了

Gemma提供了不同参数规模的版本，2b（20亿参数）和7b（70亿参数）。参数的数量直接影响了模型对语言的理解能力，更多的参数通常意味着更好的理解、生成和预测能力，但同时也需要更强大的计算资源和更长的处理时间

每个参数版分为轻量版和全量版，2b模型即便是在没有独显的笔记本电脑上都能尝试运行，而规模更大的7b、7b全量版分别需要8GB和16GB显存。

因为本人的笔记本显卡是RTX 3070Laptop，为了防止显卡撑爆，选择部署2b全量版

首先确保Ollama框架有在运行，在终端中输入ollama pull gemma:2b-instruct-fp16拉取模型

gemma后跟的是参数版本

拉取模型的过程中尽量开代理，因为Ollama的数据库在海外

请添加图片描述

提示success说明拉取成功

Mistral

Mistral 7B 是一款拥有70亿参数的精心设计的语言模型，旨在实现卓越性能和高效运行。它在各类基准测试中表现出色，超越了当前最佳的开源13B模型——Llama 2，并在推理能力、数学计算精准度以及代码生成任务上均超越了已公开的34B模型——Llama 1

执行ollama pull qwen:7b拉取模型

Qwen1.5(通义千问)

考虑到本地部署时对硬件的要求，我们不得不选取参数量较小的模型

通常的游戏笔记本的显卡内存在4G到8G之间，对应的模型参数量范围在20亿到70亿间

而今年年初阿里巴巴开源的Qwen1.5恰好有一个70亿参数量的版本，显存占用在7G左右，非常适合在中高端游戏本上部署

执行ollama pull mistral:latest拉取模型

codellama

code llama在llama2模型的基础上，利用代码数据进行训练和微调，提高了llama2在代码生成上的能力

code llama提供了三种模型，每种模型包含7B,13B,34B三个尺寸，支持多种编程语言，如Python, C++, Java, PHP, Typescript (Javascript), C#, Bash等。

  • Code Llama，代码生成的基础模型；
  • Code Llama-Python，单独针对于python的模型；
  • Code Llama-Instruct，根据人工指令微调的模型。

这里我们选用基础模型，执行ollama pull codellama:7b拉取模型

部署Open webui

Open WebUI是目前GitHub上开源的类Chatgpt前端界面中，star数量最多的框架之一

而更重要的是Open WebUI的前身即Ollama WebUI，所以它对于Ollama的支持非常好

执行下面的指令来拉取并部署Open WebUI的docker容器

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在浏览器上访问https://localhost:3000

请添加图片描述

点击加号添加刚刚拉取的所有模型，方便后续同时测试多个模型

请添加图片描述

测试性能

在本文章中，会对部署在本地的模型进行相同的提问测试，包括知识广度和代码能力

知识广度

首先是知识广度上的测试，我们询问2道安全岗的面试题

问题1

  1. 请向我介绍一下蜜罐技术</
最低0.47元/天 解锁文章
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 5687
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama 本地部署大模型
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
Ollama本地部署大模型
qq_53195681的博客
05-21 1万+
Ollama是一个开源的大型语言模型运行框架，能够在方便的本地部署运行大模型。
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
如何用ollama本地部署大模型（以deepseek为例）
最新发布
2302_81298835的博客
04-26 429
Ollama 是一个开源工具，允许用户在 本地计算机 上轻松运行、管理和部署大型语言模型（LLMs），如 Llama 3、Mistral、Gemma、DeepSeek 等。它提供了简单的命令行界面（CLI），让开发者无需复杂配置即可在本地体验 AI 模型。2. Ollama 的核心特点开箱即用支持一键下载和运行模型（如 ollama run llama3）。自动处理依赖项（如 GPU 加速）。✅ 丰富的模型库。
本地部署大模型？看这篇就够了，Ollama 部署和实战
datian1234的博客
02-09 5303
有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？ Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。 也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。 今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
Ollama 部署本地大模型
07-26 1533
工作需要，被指派对大模型做技术调研，又不想花钱买各大产商的key，所以就考虑部署本地的大模型，了解到 Ollama 开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。便在自己电脑上安装了，记录下安装以及使用过程。
本地部署大语言模型
hong161688的博客
09-14 1731
本地部署大语言模型（LLMs）是一个涉及多个步骤和技术细节的过程，包括硬件准备、软件安装、模型下载与配置等。以下是一个详细且全面的指南，旨在帮助读者在本地环境中成功部署大语言模型。
【人工智能时代】- Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问
xiaoli8748的专栏
09-21 1977
本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具，并安装Open WebUI结合cpolar内网穿透软件，实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。近些年来随着ChatGPT的兴起，大语言模型 LLM（Large Language Model）也成为了人工智能AI领域的热门话题，很多大厂也都推出了自己的大语言模型，并或多或少的开源了自己的大语言模型，今天就来分享一个最近很火，且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama。
使用Ollama实现本地部署大模型
weixin_42398461的博客
03-21 4253
打开Ollama的官网，整个网页上就只有一句显眼的话：Get up and running with large language models, locally. 中文意思是：在本地快速上手并运行大型语言模型。
部署本地大模型-Ollama
ystraw - Come on！！！
05-07 966
参考(Mac/Linux/Win都可以参考下面的教程)：测试环境： 以中文微调过的 7B 模型为例（更多模型可以查看：https://ollama.com/library），下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。 测试 使用 run 命令运行模型，可直接将消息附在命令后，或留空进入对话模式，对话模式内置了几个以斜杠引出的命令： 1.直接将消息附在命令后 2.对话模式
本地部署ollama大模型
张泓锐的博客
09-28 1726
Ollama 大模型通常是通过 Docker 来运行的，因此首先需要确保本地已经安装了 Docker。
Ollama部署本地大模型（附教程）
瓦罗兰特顶级C位的博客
03-19 1296
Ollama 本质就是开箱即用的大模型部署工具，我们可以利用他来部署各种大模型，操作简单方便。
Ollama 部署本地大语言模型
小橙子的博客
02-07 1715
打开“控制面板” -> “系统和安全” -> “Windows Defender 防火墙”，点击“高级设置”，在“入站规则”中创建一条新的规则，允许 TCP 端口。这是Ollama命令行工具的帮助信息，它列出了所有可用的命令和标志，以及如何使用它们。run命令 运行存在的模型就是打开，不存在的模型，就是先下载再打开。在“环境变量”窗口中，找到“系统变量”部分，点击“新建”按钮。右键点击桌面上的“此电脑”或“计算机”图标，选择“属性”。在系统属性窗口中，点击左侧的“高级系统设置”按钮。
Ollama 本地CPU部署开源大模型
Python_Ai_Road的博客
06-14 2925
Ollama可以在本地CPU非常方便地部署许多开源的大模型。如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。完整支持的模型列表可以参考：https://ollama.com/library它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。本文将按照如下顺序介绍Olla...
本地部署大模型？Ollama 部署和实战，看这篇就够了！
xiangxueerfei的博客
03-07 4211
Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
ollama+open-webui，本地部署自己的大模型
热门推荐
spiderwower的博客
05-05 6万+
Open WebUI 是一种可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种LLM运行器，包括 Ollama 和 OpenAI 兼容的 API。open-webui项目地址。
dify + ollama本地部署，添加模型供应商没反应
03-09
<think>好的，我现在需要帮助用户解决在本地部署Dify和Ollama时，添加模型供应商没有响应的问题。首先，我应该回忆一下用户提到的这两个项目的基本情况。Dify是一个AI应用开发平台，而Ollama是用于本地运行大型语言模型的工具。用户的问题是在部署这两个工具时，添加模型供应商时没有反应，可能需要逐步排查可能的原因。 首先，用户可能遇到网络连接问题。因为Ollama需要在本地运行模型，所以需要确认Ollama服务是否已经正确启动，并且Dify能够访问到该服务。检查Ollama的默认端口11434是否开放，是否有防火墙或安全软件阻止了连接。用户可以通过curl命令测试接口是否可用，例如curl http://localhost:11434/api/tags，看看是否能获取模型列表。 接下来，考虑配置问题。Dify中添加模型供应商时，需要正确填写Ollama的API地址，通常是http://localhost:11434。如果Dify和Ollama不在同一台机器上，可能需要使用宿主机的IP地址，而不是localhost，同时确保端口映射正确。比如在Docker环境中，可能需要配置正确的网络模式或端口转发。 模型加载也是一个可能的问题。用户需要确认在Ollama中已经成功下载并加载了所需的模型。使用ollama list命令可以查看已安装的模型。如果没有安装模型，需要先执行ollama pull <模型名>来下载。例如，ollama pull llama2。 版本兼容性方面，Diy和Ollama的版本是否匹配？可能需要检查两者的文档，确认是否有版本要求。更新到最新版本可能解决一些已知的问题。 日志信息是排查问题的关键。查看Diy和Ollama的日志，看看是否有错误信息。启动Ollama时添加--verbose参数可以获取详细日志，帮助定位问题。同样，Dify的日志也可能提示连接失败的原因。 权限问题也不能忽视，特别是在Linux系统中，确保运行Ollama和Dify的用户有足够的权限访问相关端口和文件。SELinux或AppArmor有时会限制应用程序的网络访问，需要适当配置。 如果以上步骤都没问题，可能需要查阅社区或GitHub上的Issue，看看是否有其他用户遇到类似问题，并找到解决方案。此外，确保系统资源足够，比如内存和CPU，大型模型需要较多的资源才能正常运行。 总结下来，可能的解决步骤包括检查服务状态、验证网络连接、确认模型加载、检查配置是否正确、查看日志、处理权限问题，以及更新软件版本。逐步排查这些方面应该能帮助用户解决问题。</think>### 分步解决方案：Dify + Ollama 本地部署添加模型供应商无响应的排查与修复 #### 1. 验证 Ollama 服务状态 - **检查服务运行** 确认 Ollama 服务已启动并监听端口： ```bash # Linux/Mac 查看进程 ps aux | grep ollama # 检查端口占用 lsof -i :11434 # Windows 检查服务状态 Get-Process -Name ollama ``` - **测试 API 连通性** 使用 `curl` 验证接口是否返回模型列表（需先安装至少一个模型）： ```bash curl http://localhost:11434/api/tags # 正常响应示例： # {"models":[{"name":"llama2","modified_at":"2024-05-01T00:00:00Z"}]} ``` #### 2. 检查 Dify 配置细节 - **模型供应商配置截图示例** - **供应商类型**：选择 `Ollama` - **API 端点**：填写 `http://localhost:11434`（若跨机器部署则替换为宿主机IP，如 `http://192.168.1.100:11434`） - **模型名称**：必须与 Ollama 已加载模型名称完全一致（区分大小写） - **Docker 网络配置（若适用）** 当 Dify 与 Ollama 均运行在 Docker 中时： ```yaml # docker-compose.yml 关键配置 services: dify: networks: - ollama_network ollama: networks: - ollama_network ports: - "11434:11434" networks: ollama_network: driver: bridge ``` 此时 Dify 中填写的 API 地址应为 `http://ollama:11434`（使用 Docker 服务名） #### 3. 模型加载验证 - **安装与验证模型** ```bash # 查看已安装模型 ollama list # 安装新模型（以 llama2 为例） ollama pull llama2 # 启动模型交互测试 ollama run llama2 > Hello # 测试是否能生成响应 ``` - **常见模型名称对照表** | Ollama 模型名 | 对应模型标识 | |---------------|------------------| | llama2 | llama2:latest | | mistral | mistral:7b | #### 4. 日志深度分析 - **Ollama 详细日志** 启动时附加调试参数： ```bash ollama serve --verbose # 观察日志中是否有 "API request received" 记录 ``` - **Dify 连接日志定位** 在 Dify 日志中搜索 `Ollama API Error` 关键词，常见错误类型： ```log # 连接拒绝 ConnectionRefusedError: [Errno 111] Connection refused # 模型未找到 {"error":"model 'llama' not found"} ``` #### 5. 高级网络调试技巧 - **跨主机访问测试** 使用 telnet/nc 验证端口可达性： ```bash telnet 192.168.1.100 11434 # 替换为实际IP # 成功会显示 Connected ``` - **防火墙规则检查** ```bash # Linux ufw sudo ufw status # CentOS firewalld firewall-cmd --list-ports ``` #### 6. 版本兼容性处理 - **推荐版本组合** | 组件 | 稳定版本 | 关键特性 | |--------|-----------------|-------------------------| | Ollama | ≥ 0.1.25 | 支持 GPU 加速 | | Dify | ≥ 0.6.8 | 增强 Ollama 集成 | #### 7. 系统资源监控 - **内存占用检查** 运行模型时监控资源使用： ```bash # Linux htop # Windows Task Manager → 性能标签 ``` - 7B 模型通常需要 ≥8GB 内存 - 13B 模型需要 ≥16GB 内存 ### 典型问题案例 **案例 1**：Docker 网络隔离导致连接失败 **现象**：Dify 日志显示 `Connection refused` **解决**：确认 Docker 网络配置为同一自定义网络，或使用 `host` 网络模式 **案例 2**：模型名称大小写不匹配 **现象**：API 返回 `404 Model not found` **验证**：`curl http://localhost:11434/api/tags` 检查实际模型名称 **案例 3**：AVX 指令集缺失 **现象**：Ollama 日志出现 `illegal instruction` 错误 **解决**：更换不需要 AVX 的模型版本或升级 CPU --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

handsomelky

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值