ollama加载本地自定义模型

原创 已于 2025-04-10 14:55:09 修改 · 1.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AI #llama

于 2025-04-10 14:50:59 首次发布

因为我们自己微调好的模型就属于自定义的模型了，而且我们微调好的模型也不想泄露出去，所以我们就需要这个ollama加载自定义模型方式进行使用

微调模型：https://blog.youkuaiyun.com/YXWik/article/details/146207556
ollama安装：https://blog.youkuaiyun.com/YXWik/article/details/143871588
ollama支持的是gguf文件格式，如果是HF的需要进行转换：https://blog.youkuaiyun.com/YXWik/article/details/147117404

在这里插入图片描述
首先要新建一个 Modelfile文件，这个文件放哪里都行，最好跟ollama模型放一块
我这里放到了F:\tools\ollama下起名叫huanhuan.Modelfile

在这里插入图片描述
Modelfile的内容

# 基础模型（二选一）
最低0.47元/天 解锁文章
Ollama接入GLM或Baichuan2等本地LLM模型
AIOT魔法师
04-27 3050
下载Ollama二进制文件，直接使用.sh安装网络太卡了，即便是开了代理也卡，故在此使用二进制安装。使用vi往里面输入，在此我用的是Baichuan2 13B Chat，为了保险起见采用绝对路径。由于我系统盘只有20G加载模型时候报错了，因此我做了一个映射（空间够忽略这条）启动Ollama（本终端会一直被占用）新建一个连接终端，跑模型。安装配置Ollama。
【linux/win/mac 使用ollama部署本地大模型完整的教程，openai接口， llama3.2示例】
放飞自我的coder
03-10 1万+
【linux 使用ollama部署运行本地大模型完整的教程，openai接口， llama2例子】
Ollama本地模型加载实践与优化技巧
最新发布
SilvermistFalcon67的博客
11-05 370
新建Modelfile时，需要特别注意FROM指令指向正确的本地GGUF文件路径，以及TEMPLATE和PARAMETER等参数的设置。比如Qwen1.5-32B-Chat模型的GGUF文件，通常可以从模型的官方发布渠道获取。在使用Ollama进行AI模型部署时，加载本地模型文件是一个常见需求，特别是当我们已经下载好GGUF格式的模型文件时。：在加载新模型前，可以先通过ollama list命令查看当前已有的模型列表，了解系统已安装的模型情况。：成功加载后，可以通过ollama run命令启动模型交互。
如何试用 Ollama 运行本地模型 Mac M2
hawk2014bj的博客
04-10 5083
我的机器配置是M2 Pro/ 32G，运行 7b 模型毫无压力，而且推理时是用 GPU 进行运算的，可能就是 Ollama 底层是用 llama C++ 实现的，底层做了性能优化，对 Mac特别友好。首先把客户端代码 clone 到本地，这里我用的是 https://librechat.ai/ ，选择挺多的，Ollama github 仓库首页有个列表可以选择。根目录下有个配置文件 .env.example，复制一个新的 .env，如果是本地运行，不对外服务，默认配置就可以。“prompt”: “你好”,
Ollama如何加载本地模型
m0_60594197的博客
02-14 3284
1.、新建Modelfile文件（无后缀）编辑Modelfile文件，
ollama 加载本地模型
KEVIN_WANG333的博客
02-21 690
2.2 创建.mf文件 替换安装目录为本地下载目录。2核8g 系统盘系统盘 50 GB。2.1 查看其他模型的安装目录。##ollama线上拉取部署。##ollama本地部署。
Ollama自定义模型
王小工小工历程
05-27 1430
Ollama 提供多种自定义模型的方式：1) 支持通过GGUF文件导入模型，只需下载量化模型文件并创建Modelfile即可运行；2) 通过Modelfile定义角色模板，可调整生成参数、设置系统提示和对话格式；3) 支持模型微调与适配器集成，兼容主流架构和格式；4) 提供图形界面工具如Ollama Desktop和Open WebUI，便于可视化管理和交互。操作步骤包括创建配置文件、参数调整和命令行部署，支持从基础模型创建定制版本，满足不同场景需求。
Ollama安装部署及加载自定义量化Qwen大模型
weixin_46316820的博客
01-25 1497
Qwen/Qwen1.5-1.8B-Chat 模型为例子ModelFile文件内容。
Ollama高手，玩转本地自定义大模型（LLM）
GeekABC
03-18 1877
在项目中，需要根据自身行业特征、企业自有数据集对一些通用模型进行微调后集成到项目中，这时就需要在Ollama中自定义大模型。本文提供了在Ollama中自定义大模型的基本方法。
【用Deepseek搭建免费的个人知识库–综合教程（完整版）】番外篇：GGUF量化模型导入到Ollama中运行。Ollama运行本地自定义模型。
qq_42944545的博客
02-09 470
由于Ollama run模型名字命令下载速度实在是太慢了。我们需要通过其它途径下载模型。同时，最大的模型库还是在hugging face上，更多功能的大模型可以在上面找到，所以需要在网上下载好GGUF或者safetensors的文件模型导入到Ollama上面来运行。
第二十七篇-Ollama-加载本地模型文件
热门推荐
木卫二号的专栏
04-27 2万+
可以查看已有下载的modlefile文件内容。等等一段时间会提示完成。
Ollama-加载本地模型文件
yangtaylor81的博客
08-13 198
创建新的Modelfile文件。
如何用Ollama直接加载官网没有的本地大模型
2301_76362892的博客
05-22 1万+
大家在用ollama加载大模型时，第一步都是要到国外网站去下载模型，即需要科学 上网，又需要大带宽，且对于一些OLLAMA官网没有的大模型还不能直接使用，本文重点解决那种本地已经下载好的（含官网没有的）大模型如何直接被ollama加载使用问题。
ollama运行自定义模型
勇往直前！
04-24 6968
GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准，用于储存模型的tokenizer & weight & vocab & hyparameters，其表现形式为一个二进制文件，例如gml-model-f16.gguf。ollama 可以直接加载gguf文件后缀的模型这些模型，你可以通过下面两个站点搜索即可。ollama有默认的模型，那么怎么运行自定义模型，自己选择下载模型，然后运行呢。运行你的模型： ollama run [xxxname]即可。
ollama导入本地模型
程序员鑫港的博客
03-04 9245
Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型、降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如DeepSeek、Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。支持的大语言模型列表，
ollama 自定义模型
u013798595的博客
08-16 1012
Ollama 支持通过 Modelfile 自定义语言模型，用户可以指定基础模型、调整推理参数、定义系统提示词等。操作步骤包括：创建包含配置的 Modelfile（如设置 temperature 参数和系统提示），使用 ollama create 构建自定义模型，并通过 ollama run 运行。还支持高级功能如添加 LoRA 适配器、自定义对话模板等。构建的模型可分享到 Ollama 仓库或通过 REST API 部署。整个过程灵活简便，适合不同级别的自定义需求。
Ollama+GGUF离线加载本地模型
danielxinhj的博客
07-30 9525
一般在使用Ollama下载模型时，都是从官方仓库下载（使用，但一些环境下，受限于网速等原因使用这种方式可能会非常慢甚至无法下载，所以我们可以选择使用上的文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。
【AI工作流】Ollama本地化大模型安装
m0_70486148的博客
08-23 3771
为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。1.Ollama在安装之前，有必要先说明一下Ollama是什么。Ollama是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。其特点包括如下：优点：Ollama后台服务能够帮助用户轻松搭建大语言模型服务，并且提供相应的API以扩展到其他如Dify等Web前台以及Obsidian等笔记软件，以最快的速度形成AI问答/AGENT/工作流等工作形式。
大模型本地化管理工具Ollama
m0_65555479的博客
02-04 5417
Ollama 管理本地已有大模型（包括终端对话界面）Ollama 导入模型到本地的三种方式：直接从 Ollama 远程仓库拉取、通过 GGUF 模型权重文件导入到本地、通过 safetensors 模型权限文件导入到本地。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值