Ollama高手，玩转本地自定义大模型（LLM）

原创 已于 2025-03-27 15:23:49 修改 · 1.8k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #语言模型 #python

于 2025-03-18 15:53:13 首次发布

Ollama系列文章：
Ollama入门，一键启动本地DeepSeek大模型
Ollama入门，Ollama技术架构与原理
Ollama进阶，在Python、Java、Go项目中集成Deepseek、QWQ大模型
Ollama进阶，在Javascript(nodejs)前后端项目中集成Deepseek、QWQ大模型
Ollama高手，玩转本地自定义大模型（LLM）
Ollama高手，调优Ollama环境变量，提高性能与安全性
Ollama高手，调优Ollama模型参数，提高模型输出质量

在Ollama进阶过程中，我们通过前面的两篇文章了解了如何将Ollama大模型服务应用到自己的项目中，这使得Deepseek、QWQ之类的本地大模型有了具体的用途。

然而在实际的项目中，需求往往是千变万化的，一个大模型可能满足不了需求，甚至有时需要的也不一定是大模型，而是嵌入式模型、视觉模型、语音模型等等面向特定需要的模型。

好在Ollama官方提供了模型库，用户可以通过ollama pull命令拉取到本地使用。

1、Ollama 官方模型

Ollama 收录了主流厂商的开源大模型，包括阿里巴巴的Qwen、深度求索的DeepSeek、Meta的Llama、Google的Gemma、Microsoft的Phi等等，详细如下表：

模型厂商 模型系列 模型版本 模型用途
阿里巴巴 Qwen Qwen 1.5、Qwen 2、Qwen 2.5、
最低0.47元/天 解锁文章
大模型系列——ollama 自定义模型
2401_84052244的博客
07-10 215
Ollama支持自定义模型操作，用户可通过创建Modelfile文件导入GGUF格式模型或修改现有模型参数。具体步骤包括：1)从GGUF文件导入模型并命名；2)修改基础模型参数（如温度值）和系统提示语；3)创建并运行定制模型。示例展示了为摩托车App设计的观点提取机器人模型，通过对比原始Llama3模型，验证了定制模型在特定任务中的优化效果。该功能使开发者能快速构建满足特定需求的AI应用。
【AI学习指南】轻量级模型-用 Ollama 轻松玩转本地大模型
瑶山的博客
07-28 2147
根据 ChatGPT 的使用经验，系统提示词是很重要的。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。role为system的消息即为系统提示词。"content": "以同学的口吻简单作答。},"content": "你会游泳吗？],}'现在AI领域的进展日新月异，进步就像是从刀耕火种步入现代社会：就像是我上个月写了这篇文章，现在AI又踏上了新的征程。
Ollama 深度使用指南：在本地玩转大型语言模型
superfreeman的专栏
06-30 1314
摘要：Ollama是一款简化本地运行开源大型语言模型(LLM)的工具。本文详细介绍：1)安装及基础模型运行；2)模型存储位置管理，包括环境变量设置和跨平台配置；3)模型选择策略，考虑参数量和量化级别；4)通过Modelfile自定义模型角色和参数；5)多种交互方式，包括终端和图形界面；6)搭建局域网AI服务器的方法；7)实用终端命令和高级配置技巧。Ollama让用户无需依赖云服务即可充分利用LLM的强大功能，适合不同硬件配置和个性化需求。
Ollama 本地自定义模型实践指南
最新发布
SlowFeather's blog
09-29 1753
在大语言模型（LLM）逐渐走向本地化部署的今天，Ollama 为开发者提供了一个简洁而灵活的工具链，使得我们能够在本地快速构建和定制模型。本文将以 llama3 为例，介绍如何通过 Modelfile 创建一个自定义模型，并对参数与系统提示进行个性化配置。
Ollama自定义模型
王小工小工历程
05-27 1412
Ollama 提供多种自定义模型的方式：1) 支持通过GGUF文件导入模型，只需下载量化模型文件并创建Modelfile即可运行；2) 通过Modelfile定义角色模板，可调整生成参数、设置系统提示和对话格式；3) 支持模型微调与适配器集成，兼容主流架构和格式；4) 提供图形界面工具如Ollama Desktop和Open WebUI，便于可视化管理和交互。操作步骤包括创建配置文件、参数调整和命令行部署，支持从基础模型创建定制版本，满足不同场景需求。
私有化部署 Llama3 大模型, 支持 API 访问
chenxyuan1tuo的博客
06-18 1781
原文 https://ducafecat.com/blog/llama3-model-api-local通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
ollama 使用自定义大模型
spiderwower的博客
05-06 1万+
根据ollama官方文档，创建自定义大模型
Ollama本地部署自定义大模型
摇光65535的博客
10-07 3991
Ollama是一个专为本地机器设计的开源框架，旨在简化大型语言模型（LLM）的部署和运行过程。本文将使用Ollama来实现llama-3.1大模型的本地化部署。
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 6058
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
Ollama高手，调优Ollama模型参数，提高模型输出质量
GeekABC
03-20 8897
在Ollama中，模型参数主要用于控制模型的行为和推理过程。通过调整这些参数，你可以影响模型的输出质量、生成速度、资源占用等方面。
ollama 本地部署大模型
热门推荐
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama 使用自己的微调模型
spiderwower的博客
05-12 5万+
微调大模型的方法，这里不展开说，我使用的lora微调方法。微调大模型需要比较高的显存，推荐在云服务器上进行训练，系统环境为linux。
ESP8266加LED做一个闪光灯
weixin_45442198的博客
06-25 2619
代码如下（示例）：/* 文件名称：blink.ino 功能：ESP8266闪灯示例*/ #define PIN_LED 5 //5是端口D1 #define KEY_FLASH 13void setup() { //设置PINLED为输出模式 pinMode(PIN_LED, OUTPUT); //初始关闭LED灯 di
ollama 自定义模型
u013798595的博客
08-16 997
Ollama 支持通过 Modelfile 自定义语言模型，用户可以指定基础模型、调整推理参数、定义系统提示词等。操作步骤包括：创建包含配置的 Modelfile（如设置 temperature 参数和系统提示），使用 ollama create 构建自定义模型，并通过 ollama run 运行。还支持高级功能如添加 LoRA 适配器、自定义对话模板等。构建的模型可分享到 Ollama 仓库或通过 REST API 部署。整个过程灵活简便，适合不同级别的自定义需求。
Ollama 自定义导入模型
m0_69704099的博客
06-20 372
nvidia-smi我的笔记本 可怜兮兮的GPU。
ollama运行自定义模型
勇往直前！
04-24 6941
GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准，用于储存模型的tokenizer & weight & vocab & hyparameters，其表现形式为一个二进制文件，例如gml-model-f16.gguf。ollama 可以直接加载gguf文件后缀的模型这些模型，你可以通过下面两个站点搜索即可。ollama有默认的模型，那么怎么运行自定义模型，自己选择下载模型，然后运行呢。运行你的模型： ollama run [xxxname]即可。
ollama注册自定义模型（GGUF格式）
hbkybkzw的博客
03-16 1029
需要全程开启ollama需要注意，尽管手动下载的GGUF格式模型权重是阿里官方发布的模型权重，但仍然会偶尔出现和ollama不兼容，导致胡言乱语的情况出现。如果希望使用ollama进行推理，优先建议使用ollama pull命令下载ollama官方的GGUF格式。以下是用阿里自己开源的qwq32b-GGUF格式来演示。
Dify集成Ollama本地大模型部署与配置指南
Dify接入Ollama指南是一套系统性的技术操作文档，旨在帮助开发者和AI研究人员将本地部署的大语言模型（LLM）通过Ollama平台无缝集成到Dify这一低代码AI应用开发平台中。该指南不仅涵盖了从环境搭建、服务配置到模型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值