五分钟使用ollama部署本地大模型

原创 已于 2025-06-16 23:19:59 修改 · 1.4k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama

于 2025-04-07 09:15:00 首次发布
注：如有需要开发大模型应用，网站等，后台私信我。
1、ollama简介

        ollama是一个可以在本地部署大语言模型的平台，与传统的云端AI服务不同，ollama可以直接在本地设备上运行集成大模型，减少通信延迟，保证数据安全性，适用于搭建一个本地大模型应用。ollama对于环境的要求，需要python3.8及以上的版本，如果需要使用GPU进行加速，还需要nNAVIDIA显卡和CUDA驱动。

2、ollama安装

        本次分享基于linux系统操作，其他系统按照官网文档，按照界面操作提示一步一步进行即可。

2.1、物理机部署

        物理机部署有两种方式：1）、使用脚本直接安装，升级（这种方式有种缺点，就是不确定环境依赖是否完整）；2）、采用安装包离线安装的方式（这种方式博主尝试几次，坑比较多，不建议新手使用）；

# 1、采用安装脚本进行安装
curl -fsSL https://ollama.com/install.sh | sh
# 2、采用下载安装包进行安装
# 下载
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
# 解压到指定目录
tar -C /usr -xzf ollama-linux-amd64.tgz
# 启动
ollama serve
# 测试
ollama -v
# 3、GPU 版本安装
# 下载
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
# 解压
tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

 配置服务启动

最低0.47元/天 解锁文章
ollama 本地部署大模型
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
Ollama部署本地大模型
m0_63823719的博客
01-05 1万+
Ollama
本地部署大模型Ollama —— 在本地启动并运行大语言模型
Y525698136的博客
11-16 1720
Ollama 是一款命令行工具，可在 macOS 、 Linux 、Windows 上本地运行 Llama 2、Code Llama 、Gemma 等模型。
本地LLM部署--Ollama 入门教程
qq_43819568的博客
12-28 3826
Ollama 是一款专注于快速开发、部署和运行大语言模型的平台。无论是学习AI，还是将其集成到实际项目中，Ollama 都能提供简单高效的工具和方法。本教程介绍了如何在 Windows 平台上安装和使用 Ollama，包括安装、配置、加载模型和运行推理任务的完整流程。同时，还提供了解决常见问题的方法。如果想了解更多高级功能，请访问官方文档。
部署ollama 4种方式
最新发布
WYT11的博客
10-20 144
ollama 4种部署方式
本地部署大模型？Ollama 部署和实战，看这篇就够了
热门推荐
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
Ollama常用信息
weixin_40090689的博客
04-28 1964
Ollama常用命令，常用模型，如何运行模型
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5730
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
Ollama：本地大模型运行指南
python123456_的博客
05-15 3600
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。
【linux/win/mac 使用ollama部署本地大模型完整的教程，openai接口， llama3.2示例】
放飞自我的coder
03-10 1万+
【linux 使用ollama部署运行本地大模型完整的教程，openai接口， llama2例子】
【AI基础】使用Ollama部署本地LLM大模型（DeepSeek-R1:7B）
qq_42567701的博客
06-06 559
Ollama 是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。Ollama 提供对模型量化的支持，可降低模型的显存要求，使得在PC或笔记本上运行大型模型成为可能，是开发者尝试本地LLM大模型服务的推荐方式之一。
零基础ollama本地部署大模型
Kelaru的博客
02-05 1838
本地轻量化部署大模型，实现与大模型进行交流与探讨无障碍
人工智能——使用Ollama部署本地大模型
weixin_72959097的博客
08-21 1916
在如今的 AI 应用领域中，大模型（LLM，Large Language Models）已然成为推动前沿技术发展的关键力量。其中的 Top1 当属 OpenAI 的 GPT 系列无疑，它通过大规模的数据训练、可以执行高质量的语言处理任务，如聊天问答、文本生成、翻译等。去年，ChatGPT 引入了定制个人知识库的支持，该功能采用了检索增强（RAG，Retrieval-Augmented Generation）技术，它使得模型能够在生成回答前、先从知识库中检索相关信息，显著提高了输出的准确性和信息量。
使用Ollama部署本地大模型
2301_81667623的博客
07-19 837
帮助读者快速部署自己的本地大模型，并在开发过程中进行模型调用，以及在开发工具中实现AI对话
Ollama 部署本地大模型与使用（附教程）
DEVELOPERAA的博客
03-22 1781
本文将介绍如何通过 Ollama 部署 Llama3 模型，并通过接口调用，简化这一过程。Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用。Ollama 提供了几个简单易用的命令，基本功能如下：Usage:serve 启动 Ollama 服务create 从 Modelfile 创建一个模型show 查看模型详细信息。
Ollama| 搭建本地大模型，最简单的方法！效果直逼GPT
python1222_的博客
05-25 5066
开源免费：Ollama是一个不收费的开源工具。即插即用：它提供了预装好的大模型，免除了复杂的安装和下载流程。用户友好：即便没有任何技术背景，Ollama也易于上手和使用。跨平台兼容性：Ollama支持各种设备，包括PC、Mac甚至是树莓派。运行各种规模的模型，保证了出色的扩展性。
零基础入门AI：一键本地运行各种开源大语言模型 - Ollama
2401_84495725的博客
05-09 1769
Ollama 是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46k star。不管是著名的羊驼系列，还是最新的AI新贵Mistral，等等各种开源大语言模型，都可以用Ollama实现一键安装并运行，支持的更多模型的列表可以查看Ollama官网。本文就让我们一起入门Ollama。
Ollama本地部署大模型
我的博客
05-23 2380
Ollama 是一个开源框架，旨在为用户提供在本地运行大型语言模型的能力。Ollama 支持多种主流模型的下载，也允许用户通过自定义导入的方式来使用自训练的模型。Ollama 的优势在于其强大的功能和便捷的 API，能够为用户提供灵活的语言模型使用体验。官网：https://ollama.com支持的开源大模型：https://ollama.com/library。
本地大模型1：安装部署本地Ollama大模型
weixin_74825941的博客
09-10 2万+
对ollama本地大模型的基本使用，下载了llama3.1:8b，可以进行基本的问答，推荐了两篇调用ollama的文章
怎么使用Ollama部署本地大模型
02-25
<think>嗯，用户问的是怎么用Ollama部署本地大模型。首先，我得确认用户对Ollama了解多少。可能他们听说过但没用过，或者只是想快速上手。Ollama是一个支持本地运行大模型的工具，支持Llama、Mistral等模型，所以需要先安装。 接下来，安装步骤。Ollama支持macOS、Linux和Windows。不同的系统安装方法不同，可能需要详细说明每个系统的安装方式，比如macOS用curl命令，Linux用bash脚本，Windows的话可能用户需要下载安装包。要确保用户能顺利安装，可能还要提醒他们检查系统版本或者依赖项。 安装完成后，如何运行模型。用户可能需要知道基本命令，比如ollama run llama2。这里要说明模型会自动下载，但需要网络。然后介绍交互式对话的方式，以及如何退出。此外，用户可能关心如何选择不同的模型版本，比如7b、13b参数，或者代码专用版本，需要举例说明命令的不同。 高级功能部分，用户可能有更多需求。比如自定义模型，使用Modelfile。这里需要解释Modelfile的结构，如何创建和构建自定义模型。还有如何查看本地模型列表，删除不需要的模型，作为API使用，这些都很实用。特别是作为API运行时，如何通过curl或者代码调用，可能需要给出示例代码，比如Python的requests库用法。 注意事项方面，硬件要求很重要，尤其是大模型需要足够的RAM和显存。用户如果机器配置不够，可能会遇到性能问题，需要提前告知。另外，网络问题，下载模型需要好的网络连接，否则下载会慢或者失败。模型管理部分，提醒用户及时清理不用的模型，节省空间。 可能用户是开发者或者对技术比较熟悉的人，他们想快速在本地测试模型，可能用于开发应用或者实验。所以除了基本使用，API部分可能对他们特别有用，可以集成到自己的项目中。另外，自定义模型的需求可能较高，需要详细说明Modelfile的用法。 需要检查是否有遗漏的步骤，比如安装后的验证，是否安装成功。或者常见问题，比如安装失败怎么办，模型下载出错如何处理。不过用户的问题主要是介绍怎么使用，可能不需要深入 troubleshooting，但可以稍微提及注意事项里的硬件和网络问题。 最后，总结步骤，让用户有个清晰的流程：安装Ollama，运行模型，高级功能，注意事项。结构清晰，用户能一步步跟着操作。同时，提供示例命令和代码片段，方便用户复制粘贴。确保语言简洁，用中文口语化表达，避免技术术语过多，但必要的术语还是需要保留，比如API、Modelfile等。</think>好的，我来为你介绍一下如何使用 **Ollama** 在本地部署大模型的步骤。Ollama 是一个开源工具，支持在本地运行多种大语言模型（如 Llama 2、Mistral、Code Llama 等），无需依赖云端服务，适合快速体验或开发测试。 --- ### **1. 安装 Ollama** - **官网下载**：访问 [Ollama 官网](https://ollama.ai/)，根据你的操作系统（支持 macOS、Linux、Windows）下载对应版本。 - **macOS/Linux**：可以直接通过命令行安装： ```bash # macOS 或 Linux 一键安装 curl -fsSL https://ollama.ai/install.sh | sh ``` - **Windows**：下载安装包后双击运行。 --- ### **2. 运行模型** 安装完成后，通过命令行直接运行模型： ```bash # 示例：运行 Llama 2 模型（会自动下载） ollama run llama2 ``` - 首次运行时会自动下载模型文件（需网络，模型大小约 3-5GB）。 - 进入交互式对话界面后，输入问题即可与模型对话（例如：“用中文写一首诗”）。 - 输入 `/bye` 退出。 --- ### **3. 选择模型版本** Ollama 支持多种模型和版本，例如： ```bash # 运行不同参数规模的模型 ollama run llama2:7b # 7B 参数版本（默认） ollama run llama2:13b # 13B 参数版本（需要更高内存） # 其他模型 ollama run mistral # Mistral 模型 ollama run codellama # 代码专用模型 ``` --- ### **4. 高级功能** #### **自定义模型** - 使用 `Modelfile` 定义自定义模型配置（例如调整参数、合并模型）： ```bash # 创建 Modelfile FROM llama2 PARAMETER temperature 0.8 # 调整生成随机性 SYSTEM "你是一个中文助手。" # 设定系统提示词 ``` 构建自定义模型： ```bash ollama create my-model -f Modelfile ollama run my-model ``` #### **模型管理** - 查看已下载的模型列表： ```bash ollama list ``` - 删除模型： ```bash ollama rm llama2 ``` #### **作为 API 使用** Ollama 默认提供本地 API 服务（端口 `11434`），可通过 HTTP 调用： ```bash # 示例：通过 curl 调用 curl http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt": "你好，请介绍一下你自己", "stream": false }' ``` 也可用 Python 等语言集成： ```python import requests response = requests.post( "http://localhost:11434/api/generate", json={"model": "llama2", "prompt": "你好"} ) print(response.json()["response"]) ``` --- ### **5. 注意事项** - **硬件要求**：7B 模型需至少 8GB RAM，13B 模型需 16GB RAM，GPU 可加速（需配置 CUDA）。 - **网络问题**：首次下载模型需要稳定网络，国内用户可能需配置代理。 - **模型管理**：及时清理不用的模型以节省磁盘空间（模型存储在 `~/.ollama/models`）。 --- 通过以上步骤，你可以快速在本地部署和体验大模型。如果需要更复杂的任务（如微调），可能需要结合其他工具（如 LangChain）扩展功能。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知其_所以然

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值