Ollama 部署本地大语言模型

已于 2025-02-07 20:33:46 修改
阅读量1.7k 收藏 22
点赞数 8
分类专栏： # 人工智能 文章标签： 语言模型 人工智能 自然语言处理
于 2025-02-07 13:16:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tscaxx/article/details/145480971
版权

一、下载安装ollama

1.百度  ollama

Ollama

2.点击下载

可以复制下载链接，使用下载器下载。

3.双击安装

默认安装目录：C:\Users\用户名\AppData\Local\Programs\Ollama

二、更改模型下载目录

0.默认下载目录 (跳过)

之前没下载过模型，不涉及转移模型，可以跳过此步骤

C:\Users\用户名\.ollama\models\

 如果之前下载过了，可将默认目录里的

复制到更改后的目录里

1.打开系统属性

右键点击桌面上的“此电脑”或“计算机”图标，选择“属性”。

2.进入高级系统设置

在系统属性窗口中，点击左侧的“高级系统设置”按钮。

3.编辑环境变量

4.新建环境变量

在“环境变量”窗口中，找到“系统变量”部分，点击“新建”按钮。

输入变量名为OLLAMA_MODELS。

在“变量值”文本框中输入希望保存模型文件的新目录路径，例如D:\OllamaModels。

5.保存并重启Ollama

点击“确定”按钮保存设置。

重启Ollama应用，以使新的环境变量生效。

为了保证生效，可以重启电脑。

三、常用命令

1.win+R键--->cmd

输入    ollama 

这是Ollama命令行工具的帮助信息，它列出了所有可用的命令和标志，以及如何使用它们。以下是对这些命令和标志的详细解释：

命令

  1. serve
    • 描述：启动Ollama服务，使其能够处理模型运行和API请求。
    • 用法：ollama serve
  2. create
    • 描述：使用包含模型信息的Modelfile来创建一个新模型。
    • 用法：ollama create /path/to/Modelfile
  3. show
    • 描述：显示特定模型的详细信息，如模型名称、版本等。
    • 用法：ollama show [模型名称]
  4. run
    • 描述：运行一个已安装的模型，执行某些任务。
    • 用法：ollama run [模型名称]
  5. stop
    • 描述：停止一个正在运行的模型。
    • 用法：ollama stop [模型名称]
  6. pull
    • 描述：从模型注册表中拉取一个模型到本地使用。
    • 用法：ollama pull [模型名称]
  7. push
    • 描述：将本地模型推送到模型注册表中，以便他人或其他系统使用。
    • 用法：ollama push [模型名称]
  8. list
    • 描述：列出本地所有可用的模型。
    • 用法：ollama list 或 ollama ls
  9. ps
    • 描述：列出当前正在运行的模型。
    • 用法：ollama ps
  10. cp
    • 描述：复制一个模型到另一个位置或给定名称的地方。
    • 用法：ollama cp [原模型名称] [新模型名称]
  11. rm
    • 描述：删除一个已安装的模型。
    • 用法：ollama rm [模型名称]
  12. help
    • 描述：获取有关Ollama任何命令的帮助信息。
    • 用法：ollama help [命令名称] 或 ollama --help

标志

  • -h, --help
    • 描述：显示帮助信息，包括所有可用命令和标志。
    • 用法：在任何命令后添加 -h 或 --help 以获取该命令的详细帮助信息。
  • -v, --version
    • 描述：显示Ollama工具的版本信息。
    • 用法：ollama -v 或 ollama --version

注意： create命令，可以基于某个模型创建指定角色的模型。

具体用法可以搜索：

ollama create怎么用？

ollama 

四、下载模型

1.搜索模型

2.下载模型

（模型越大功能越强，但是所需要的电脑硬件设备越高，根据个人情况自行选择） 

命令粘贴的到 命令窗口(win+R键--->cmd)

ollama run deepseek-r1:7b

下载慢怎么办？

第一步

点击选中终端窗口，然后点击 ctr+c 暂停下载。

第二步

重新粘贴 命令 ，等待重新链接即可。

注意事项：

有小概率出现从头开始下载的可能性，目前题主暂未出现此情况。

五、测试

run命令 运行存在的模型就是打开，不存在的模型，就是先下载再打开。 

可直接在此窗口进行对话

 六、基于已有模型，创造模型

github有教程 ，ollama github页面搜索 Create a Modelfile 定位到指定位置。 

在Ollama中，你还可以自定义模型的启动提示词来调整其行为。例如，要自定义 deepseek模型，你首先需要拉取(下载)该模型：(上面操作已经下载过了，跳过)

ollama pull deepseek-r1:7b

创建一个Modelfile，在其中设置参数和系统消息：

FROM deepseek-r1:7b

# 设置创造力参数，1表示更高的创造性，较低则表示更加连贯
PARAMETER temperature 1

# 设置系统消息
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

创建并运行自定义模型：

ollama create custom-model-name -f F:\路径\Modelfile
ollama run custom-model-name

 七、安装web UI

1.搜索 page Assist github

2.解压

3.Chrome浏览器加载插件

4.Ctrl+Shift+L 打开

5.设置中文

6.RAG设置

 

Ollama 下载 模型 

ollama pull nomic-embed-text

刷新当前页面

可以设置联网或上传图片等。

八、Ollama手动导入GGUF模型文件

1.下载模型文件

进入该网站https://huggingface.co/

(其他平台)

点击模型


直接搜索模型关键词，以QWen2.5 GGUF为例

可以复制下载链接，到下载器下载

2.创建一个Modelfile

在其中设置参数和系统消息：

# 指定本地模型的位置
FROM F:\ollama\QWen_GGUF\Qwen2.5-1.5B-Instruct.Q5_K_S.gguf
 
# 指定模型参数
PARAMETER temperature 0.7
 
# 设置系统消息，定义助手行为
SYSTEM """
You are a helpful assistant.
"""

3.执行以下命令

ollama create QWen_2.5_gguf -f F:\ollama\QWen_GGUF\qw_Modelfile
ollama run custom-model-name

4.注意

page Assist使用时，从新配置设置一遍，否则可能出现不智能的情况

 九、使用API方式远程调用ollama模型

1.设置环境变量(参考第二步)

OLLAMA_HOST="0.0.0.0:11434"

 2.命令

ollama serve

3.配置防火墙（可选）

  • 如果希望从外部网络访问 Ollama server，需要在 Windows 防火墙中开放 Ollama 使用的端口（默认是 11434）。

  • 打开“控制面板” -> “系统和安全” -> “Windows Defender 防火墙”，点击“高级设置”，在“入站规则”中创建一条新的规则，允许 TCP 端口 11434 的入站连接。

3.下载客户端 

①搜索chatbox

Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载

​ ②下载

​

③下一步、下一步安装就行

 4.配置客户端​

​

 设置好IP、端口后保存.

5、测试

略

Ollama本地部署大模型
qq_53195681的博客
05-21 1万+
Ollama是一个开源的大型语言模型运行框架，能够在方便的本地部署运行大模型。
简易教程|使用Ollama在本地部署大语言模型（Ollama+Deepseek_R1+OpenWebUI）
热门推荐
m0_61171702的博客
01-26 4万+
用简洁的方式部署AI大模型，从安装ollama到拉取AI大模型文件，到使用OpenWebUI的使用，没有多余描述。
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
如何用ollama本地部署大模型（以deepseek为例）
最新发布
2302_81298835的博客
04-26 434
Ollama 是一个开源工具，允许用户在 本地计算机 上轻松运行、管理和部署大型语言模型（LLMs），如 Llama 3、Mistral、Gemma、DeepSeek 等。它提供了简单的命令行界面（CLI），让开发者无需复杂配置即可在本地体验 AI 模型。2. Ollama 的核心特点开箱即用支持一键下载和运行模型（如 ollama run llama3）。自动处理依赖项（如 GPU 加速）。✅ 丰富的模型库。
本地部署大模型？看这篇就够了，Ollama 部署和实战
datian1234的博客
02-09 5308
有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？ Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。 也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。 今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
Ollama：本地大语言模型（LLM）部署 && 使用 Ollama 构建一个智能问答系统
Q的博客
09-18 3765
Ollama,本地大语言模型部署，智能问答系统
五分钟使用ollama部署本地大模型
zwl2220943286的博客
04-07 1177
五分钟使用ollama安装部署本地大模型
解锁Ollama：本地大语言模型部署的新利器.zip
02-14
“解锁Ollama：本地大语言模型部署的新利器”这一资料的发布，或许标志着在本地化部署大语言模型领域取得了一项重大突破。这份资料可能会详细介绍Ollama工具的使用方法、优势以及实际应用案例。它不仅可能覆盖从基础...
ollama本地部署大语言模型记录
qq_27489877的博客
07-29 1610
最近突然对大语言模型感兴趣，同时在平时的一些线下断网的CTF比赛中，大语言模型也可以作为一个能对话交互的高级知识检索库。本篇文章旨在记录我在本地部署大语言模型的过程
部署本地大模型-Ollama
ystraw - Come on！！！
05-07 972
参考(Mac/Linux/Win都可以参考下面的教程)：测试环境： 以中文微调过的 7B 模型为例（更多模型可以查看：https://ollama.com/library），下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。 测试 使用 run 命令运行模型，可直接将消息附在命令后，或留空进入对话模式，对话模式内置了几个以斜杠引出的命令： 1.直接将消息附在命令后 2.对话模式
本地部署大模型？Ollama 部署和实战，看这篇就够了！
xiangxueerfei的博客
03-07 4608
Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
第二十七篇-Ollama-加载本地模型文件
木卫二号的专栏
04-27 2万+
可以查看已有下载的modlefile文件内容。等等一段时间会提示完成。
Ollama 部署本地大模型
07-26 1534
工作需要，被指派对大模型做技术调研，又不想花钱买各大产商的key，所以就考虑部署本地的大模型，了解到 Ollama 开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。便在自己电脑上安装了，记录下安装以及使用过程。
使用Ollama实现本地部署大模型
weixin_42398461的博客
03-21 4253
打开Ollama的官网，整个网页上就只有一句显眼的话：Get up and running with large language models, locally. 中文意思是：在本地快速上手并运行大型语言模型。
Ollama本地部署自定义大模型
摇光65535的博客
10-07 3458
Ollama是一个专为本地机器设计的开源框架，旨在简化大型语言模型（LLM）的部署和运行过程。本文将使用Ollama来实现llama-3.1大模型的本地化部署。
人工智能——使用Ollama部署本地大模型
weixin_72959097的博客
08-21 1821
在如今的 AI 应用领域中，大模型（LLM，Large Language Models）已然成为推动前沿技术发展的关键力量。其中的 Top1 当属 OpenAI 的 GPT 系列无疑，它通过大规模的数据训练、可以执行高质量的语言处理任务，如聊天问答、文本生成、翻译等。去年，ChatGPT 引入了定制个人知识库的支持，该功能采用了检索增强（RAG，Retrieval-Augmented Generation）技术，它使得模型能够在生成回答前、先从知识库中检索相关信息，显著提高了输出的准确性和信息量。
本地如何通过Ollama部署llama3、phi3等本地大模型？
lvaolan8888的博客
06-06 1885
来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
Ollama部署本地大模型
01-04
### 如何在本地环境中部署Ollama大模型 #### 下载并安装Ollama 对于Windows用户，访问官方提供的下载页面[^2]。打开该网站后，选择适用于操作系统的版本，在此情况下为Windows，并按照指示完成安装过程。 #### 配置环境 确保计算机满足运行大型语言模型所需的硬件条件，包括足够的内存和处理能力。虽然具体需求取决于所选模型大小，但通常建议至少有8GB RAM以及支持CUDA的GPU来加速计算性能（如果打算利用NVIDIA GPU的话）。不过请注意，某些小型模型可以在CPU上有效工作而无需专门图形卡的支持[^3]。 #### 使用命令行管理Ollama 一旦成功安装了Ollama服务端程序之后，可以通过一系列简便易懂的CLI（Command Line Interface）指令来进行进一步的操作： - `ollama serve`：启动Ollama服务器实例。 - `ollama create <model_name>`：基于指定路径下的模型文件创建新的LLM实例。 - `ollama show <model_name>`：查看特定模型的相关信息。 - `ollama run <model_name>`：执行选定的大规模预训练模型；首次调用时会自动尝试获取远程资源。 - `ollama pull <repository>/<image>:<tag>`：从未知源提取镜像到本地存储区。 - `ollama push <repository>/<image>:<tag>`：上传自定义修改后的模型至远端仓库分享给他人使用。 - `ollama list`：展示当前机器上的所有可用模型列表。 - `ollama ps`：列举处于活动状态的服务进程详情。 - `ollama cp <source> <destination>`：实现不同位置间的数据迁移功能。 - `ollama rm <model_name>`：移除不再需要的模型释放空间。 这些基本命令提供了管理和交互所需的一切工具，使得即使是初次接触这类技术的人也能轻松入门[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值