使用ollama本地部署微调后的大语言模型

最新推荐文章于 2025-04-18 19:46:12 发布

琴智冰

最新推荐文章于 2025-04-18 19:46:12 发布

阅读量1.6k

点赞数 14

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/weixin_63314150/article/details/145279037

版权

在使用LlaMA-Factory导出的模型时，由于其输出格式与Ollama所需的格式不一致，需要借助llama.cpp的工具将模型转换为GGUF格式，以便在Ollama中使用。Ollama是一款开源的本地大语言模型推理工具，支持对LLM模型进行管理、训练和推理，并提供了WebUI界面和客户端API。

Ollama安装

1. 安装方式

Ollama支持多种安装方式，包括直接安装和通过Docker安装。

直接安装：

Windows：从Ollama官网下载安装程序并运行。
macOS：使用Homebrew安装：
```
brew install ollama
```

Linux：直接下载并安装：

curl -fsSL https://ollama.com/install.sh | sh

或者手动下载并解压：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

Docker安装：
- 使用Docker可以快速部署Ollama。首先确保已安装Docker。</

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

琴智冰

关注关注

14
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

玩转大语言模型——使用langchain和Ollama本地部署大语言模型

艾醒的博客

01-30

2126

Ollama 是一个开源的大型语言模型服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。用户可以在自己的设备上运行模型，无需依赖云服务或远程服务器，保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统，方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。

利用ollama本地部署Llama3大语言模型

lvaolan8888的博客

06-06

1412

Meta在开源大模型方面越战越勇，近日推出的Llama3在各方面都被公认为是最出色的。利用ollama在本地部署后使用了一会，感觉确实是行云流水。简单介绍下本地部署的流程：在这里下载win环境下的.exe文件，下载后直接安装即可。2、部署Llama3：Llama3目前有两个版本：Llama 3 8b（文件大小为4.7GB）：这是一个较小的模型，拥有 8 亿参数。这意味着它可能不能学习和生成那么长的文本，但是却能更好地捕捉本地文本信息。

参与评论您还未登录，请先登录后发表或查看评论

ollama 使用自己的微调模型

最新发布

HUANGXIN9898的博客

04-18

1179

最近deepseek非常火爆，在学习对deepseek进行微调训练后，尝试把模型部署到本地。以下记录下怎么保存模型以及怎么载入Ollama的过程。

部署AI平台-Ollama

大AI时代，人性化的信息更加难得可贵

07-06

1568

介绍 llama：LLaMA(Large Language Model Meta AI)是由 Meta(原Facebook公司)发布的一系列大型语言模型。这些模型旨在处理和生成自然语言文本，能够执行多种任务，如文本摘要、翻译、问答、文本生成等。LLaMA 模型因其高效的性能和较小的模型尺寸而受到关注，这使得它们能够在资源有限的环境中运行，例如个人计算机或移动设备。 Ollama：是一个开源的大...

基于ollama部署微调模型

XZH_iD的博客

06-24

2017

基于ollama部署微调模型。

通过ollama（modelfile）微调deepseek，制作自己的大模型

weixin_57843813的博客

02-09

1万+

通过modelfile制作自己的大模型！

Ollama本地部署？本地大模型一站式解决方案，收藏这篇完全指南！

2301_76161259的博客

03-29

1471

前几篇，分享的都是如何白嫖国内外各大厂商的免费大模型服务~有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。

《AI大模型应用》--ollama本地部署通义千问.zip

07-15

个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！个人深耕AI大模型应用领域积累的成果，希望对您有所...

ollama本地部署大语言模型记录

qq_27489877的博客

07-29

1574

最近突然对大语言模型感兴趣，同时在平时的一些线下断网的CTF比赛中，大语言模型也可以作为一个能对话交互的高级知识检索库。本篇文章旨在记录我在本地部署大语言模型的过程

张高兴的大模型开发实战：（五）使用 LLaMA Factory 微调与量化模型并部署至 Ollama

weixin_55010563的博客

04-18

751

模型路径设置为上面下载的模型路径，例如在 LLaMA-Factory 目录下新建一个 models 文件夹，将下载的模型移动到此文件夹内，可设置路径为 models/Qwen2.5-7B-Instruct。秩越大，引入的可训练参数越多，模型对新数据的适应能力越强，但也增加了计算和内存的需求，可能导致过拟合。Supervised Fine-Tuning：监督微调是最常见的微调方法，使用标注好的数据对预训练模型进行进一步训练，以适应特定任务（如分类、问答等）。"output": "不是的，你有了一个继母。

使用ollama配置本地模型（命令行使用）

zxsdyyds的博客

01-27

3698

配置个人AI模型

LLaMa大模型微调

rosemary1225的博客

05-30

3766

先下载一个完整版本的LLaMa模型，官网的或别人下载微调过的中文版本的。

Ollama创建微调模型

qq_51279133的博客

06-08

3678

converted.bin为上一步转换模型得到的文件，quantized.bin为量化后的文件，q4_0为量化选项表示使用 4bit 量化（官方推荐），当然还有很多的量化选项，具体参见。这里只需要将 Modelfile 中 FROM 后面的文件路径替换为模型文件的目录即可，my-llama3是自定义的在 ollama 中的模型名称。，具体用哪个脚本进行转换我没有找到官方文档说明，建议一个不行就试另一个，在我使用过的模型中llama3 8b和 qwen 7b都是需要使用。

部署|Llama-Facory微调模型部署

qq_29676069的博客

03-19

455

本文介绍了如何将llama-factory微调后的大模型通过ollama部署，方便自己查看不用每个网页看一点，到处找各种命令。

Python 调用 Ollama 库：本地大语言模型使用详解

kdayjj966的博客

01-15

8411

是一个用于调用本地大语言模型（Large Language Models，LLMs）的 Python 库，旨在提供简单、高效的 API 接口，以便开发者能够方便地与本地的大语言模型进行交互。提供了与本地大语言模型（如 llama 或其他模型）交互的简单方法，主要是通过 API 调用模型来生成文本、回答问题等。调用模型时，可以传递一些自定义参数来调整模型的行为，比如最大生成长度、生成的温度等。如果你已经在本地训练了自定义模型，或者下载了其他模型，可以通过指定模型路径来使用它。返回结果会是模型生成的回答。

【人工智能】大模型微调实战：基于 Ollama 定制 DeepSeek 模型的完整指南

一个被知识诅咒的人

03-20

1502

大语言模型（LLM）的微调是提升其特定任务性能的关键步骤。本文以开源工具 Ollama 为基础，详细剖析如何在本地环境中对 DeepSeek 模型进行微调，涵盖环境搭建、数据准备、模型配置和微调实践的全流程。通过丰富的代码示例（如数据集预处理、Modelfile 定制和 API 调用）和中文注释，读者可轻松复现微调过程。文章还探讨了微调中的数学原理（如损失函数优化）和性能评估方法，并提供硬件需求分析与优化建议。无论是提升模型在特定领域的问答能力，还是定制个性化应用，本文旨在为开发者提供从零到一的实战指南，帮

本地如何通过Ollama部署llama3、phi3等本地大模型？

lvaolan8888的博客

06-06

1867

来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

ollama部署lora微调后的模型

02-14

### 部署经过LoRA微调的Ollama模型为了成功部署经过LoRA微调的Ollama模型，需遵循特定流程以确保模型能够被有效利用。此过程涉及创建一个新的`Modelfile`文件并定义其模板结构。 #### 创建新的`Modelfile` 在已量化好的模型所在的目录下建立名为`Modelfile`的新文件。该文件用于指定如何加载和配置微调后的模型。具体操作如下： ```bash touch Modelfile ``` 编辑`Modelfile`的内容，使其指向已经完成量化的基础模型路径，并设置输入输出格式。对于基于指令的应用场景，可以采用以下模板[^4]： ```plaintext FROM /path/to/quantized_model.gguf TEMPLATE "[INST] {{ .Prompt }} [/INST]" ``` 这里，`/path/to/quantized_model.gguf`应替换为实际的量化模型文件路径；而模板部分则规定了交互时使用的对话框样式。 #### 注册新模型通过命令行工具注册刚刚准备好的微调模型到Ollama环境中。假设希望给这个新版本命名为`panda_lora`，那么执行下面这条命令即可完成创建动作： ```bash ollama create panda_lora -f ./Modelfile ``` 此时，`panda_lora`即代表了一个由原始Ollama模型经LoRA技术优化后得到的新实例，可以直接供后续测试或生产环境使用。 #### 测试与验证最后一步是对刚部署成功的模型进行简单的功能性和性能上的检验。可以通过向API发送请求的方式来进行初步评估，确认一切正常工作后再考虑更广泛的应用推广。