手把手教会你玩转本地大模型：Ollama安装+deepseek部署+Dify接入+独立调用全攻略

于 2025-06-03 16:36:42 发布
阅读量536 收藏 29
点赞数 17
文章标签： 人工智能 AI大模型 大语言模型 LLM ollama deepseek dify
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/python123456_/article/details/148404708
版权

本期为大家介绍如何通过Ollama部署本地大模型，Dify如何接入Ollama部署的本地大模型，以及脱离Dify如何方便使用大模型。

本期具体内容包括1.Ollama下载安装、2.大模型部署（以deepseek为例）、3.Dify接入本地大模型、4.通过chatbox使用本地大模型（额外内容）。如果只想本地部署大模型可以只看1、2,如果想要通过Dify接入本地大模型可以看1、2、3，如果想脱离Dify直接方便的使用本地大模型可以看1、2、4。

1、Ollama下载安装

大模型的本地部署方式有很多，可以直接部署，也可以借助其他工具进行部署，为了方便使用和管理，通常是借助其他工具进行部署，例如Ollama或者LM Studio，相比于LM Studio，Ollama下载模型方便且兼容性好，但是安装会稍微麻烦一点而且没有界面，不过这些都好解决。

首先进入Ollama的官网https://ollama.com/，然后点击Download即可，这一步可能需要挂vpn，否则会访问不了，不过也不用担心，我已经把安装包放到了网盘，私信回复“1235”可以获取。

img

下载好后，打开安装包即可安装，对于Windows用户来说一路点击下一步就好了，Ollama默认是安装到C盘，如果想迁移到其他路径可以期待下一期文章。

img

安装完成之后可以进行一下验证，打开cmd，输入ollama，如果像下面这样显示即表示安装成功了。

img

安装成功后可以在系统变量设置一下模型的下载路径，在桌面找到“此电脑”，右键“属性”，然后点击“高级系统设置”，找到“环境变量”，在系统变量下点击“新建”，在变量名输入“OLLAMA_MODELS”，在变量值输入自己想放置模型的路径。

重启一下Ollama，注意一定要重启，否则环境配置不生效，下载的模型还是默认在C盘。

img

2、大模型部署（以deepseek为例）

安装完Ollama后，即可依托Ollama进行大模型的部署，此处有两种办法，一种是在线安装，直接在Ollama的模型库里找，然后通过命令安装，Ollama会自动下载并部署模型；另一种是离线安装，离线安装是指从其他资源网站下载好模型（.gguf文件），例如从hugging face上下载模型，然后通过modlefile文件进行安装。此处以在线安装作为示例。

首先进入Ollama官网，点击Models，进入模型资源库。

img

随便选择一个模型，此处以deepseek-r1:1.5b为例，注意名称一定要和官网名称一致。

img

打开cmd，输入ollama run deepseek-r1:1.5b，即开始自动拉取模型，等待完成即可。

img

img

完成后即可开始对话，此时由于ollama没有界面，所以只能通过cmd进行对话。

后续可以通过打开cmd，输入ollama run 模型名称 使用，如果不清楚已经安装的模型具体名称，可以输入 ollama list 查看。

img

第3步将介绍怎么在Dify中接入和使用本地大模型，第4步将介绍通过chatbox在可视化的界面中使用大模型。

3、Dify接入本地大模型

完成大模型的本地部署后，暂时还不能在Dify中使用，还需要进行一些配置。

注：Dify的安装可以查看上一期文章

首先，打开浏览器，输入http://localhost/apps进入Dify，点击页面右上角头像的设置，在模型供应商中找到Ollama并点击安装。

img

img

等待安装完成后进行模型配置，此处配置包括两部分，一个是LLM模型配置，所谓LLM即是大语言模型，此处可以是deepseek的模型也可以是chatgpt的模型或者是其他模型，其主要作用就是对话；另一个是Text Embedding模型，也叫文本嵌入模型，它是应用于知识库的模型，其主要功能是把知识库中的文本转换成向量，因为计算机无法直接理解自然语言，但是当把自然语言转换成向量之后，就可以通过数学的方式去进行理解和计算，例如你输入一个问题，从知识库中获得结果，本质就是把问题转换成向量并在知识库中检索和问题相似度最高的向量。此处可以用deepseek-r1模型进行配置，也可以使用其他专门的模型进行配置。

在模型名称中填写上一步下载的模型，如果不知道模型名称可以打开cmd，输入ollama list查看已经安装的模型。基础URL代表的是Ollama 服务地址，Ollama是默认暴露11434端口进行API调用，如果Dify是通过Docker部署的话，在基础URL中填入http://host.docker.internal:11434即可，如果是其他方式部署的Dify，可以参考帮助文档：https://docs.dify.ai/zh-hans/development/models-integration/ollama。剩余参数保持默认即可。最后点击保存

img

如果保存按钮变成灰色并且迟迟没有保存成功，可以参考一下步骤重新启动Dify的Docker服务以及重新启动大模型。

进入到Dify的工程文件，找到docker文件夹里的.env文件，用记事本打开，并在最后添加以下内容：

#启用自定义模型

CUSTOM_MODEL_ENABLED=true

#指定ollama的API地址

OLLAMA_API_BASE_URL=host.docker.internal:11434

img

按照下图步骤重启docker服务，并且运行模型

img

完成配置后可以看到两个模型都处于开启状态，此时即可在Dify中使用本地大模型。

img

回到Dify的工作空间，在“工作室”中创建空白应用，此处以工作流为例，点击工作流，输入名称和描述创建。

img

在工作流中添加LLM节点，点击节点可以在右侧进行配置，点击模型可以切换为刚才安装的deepseek-r1:1.5b模型

img

4、通过chatbox使用本地大模型

仅通过Ollama部署的本地大模型如果不借助其他工具只能在cmd中进行对话使用，如果想在可视化的界面中使用本地大模型，可以考虑使用chatbox这类的AI客户端，chatbox的优点在于轻量化和高性能。

首先进入官网https://chatboxai.app/zh?ref=tian 下载chatbox，下载完成后一路点击下一步即可安装。

img

安装完成后打开软件，会弹出提示框，选择使用自己的API Key或本地模型，或者可以点击设置进入配置界面。

img

在模型栏填入API域名和模型名称，点击保存。

注意：配置前需要先启动Ollama并运行模型。

img

新建一个对话，此时可以看到配置的模型已经成功应用了。

img

后话

先运行模型： 无论是在Dify还是在chatbox中使用本地大模型，都需要先运行模型，运行方法是 ollama run 模型名称。

本期挖坑： 本期提到了ollama默认路径迁移和离线安装模型，由于篇幅原因没有展开，后续内容中会补齐。

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

超实用！用 Ollama + DeepSeek + Dify 搭建本地知识库，提升企业效率
Happiness is everywhere
02-13 3439
本文介绍了如何使用 Ollama + DeepSeek + Dify 搭建本地知识库，帮助企业高效管理信息。通过简单配置，可实现智能问答、文档检索等功能，提升效率并保障数据安全。
docker部署dify与ollama+deepseek大模型结合
weixin_50902225的博客
02-14 1538
de运行环境：docker +dify+ollama+deepseek。
ollama的访问url
zengliguang的专栏
11-28 9107
Ollama运行一个HTTP服务器，可以通过代理服务器如Nginx进行公开。： Ollama服务器可以通过环境变量进行配置。例如，在Mac上设置环境变量，使用。您也可以使用ngrok或Cloudflare Tunnel来访问Ollama。编辑systemd服务；在Windows上，通过控制面板编辑系统环境变量。： 如果您想要在网络上公开Ollama，可以通过设置。： 默认情况下，Ollama绑定到。环境变量来更改绑定地址。环境变量来更改绑定地址。在Linux上，通过。
Ollama的安装以及大模型下载教程
热门推荐
qq_61600833的博客
11-12 3万+
Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型， Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。
ollama安装Deepseek教程
u012659600的博客
02-06 2296
4、为了方便模型管理与试用，推荐安装ollama web-ui来管理和使用测试模型。2、进入ollama模型库选择需要安装的模型。下载安装后可以执行命名查看是否安装成功。3、运行安装指令并等待模型安装完成。查看ollama允许状态。注意：需要安装node环境。附：ollama常用命令。1、安装ollama。
【AI工作流】Ollama本地化大模型安装
AAI666666的博客
02-06 1万+
为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。
【deepseek部署个人知识库】ollama+deepseek+docker+Dify-部署教程
03-04
知识库创建完成后，用户可以在Dify网页中创建聊天界面，并接入deepseek模型。 在完成以上步骤后，用户就可以开始使用个人知识库进行查询和问答了。这整个过程涉及到的技术比较多，包括搜索引擎框架、深度学习、应用...
幕僚云私有化部署Dify+Ollama+DeepSeek-r1
02-14
私有化部署Dify+Ollama+DeepSeek-r1的详细步骤可能包括系统需求分析、软硬件环境搭建、系统安装配置、功能集成测试以及后续的维护升级等环节。系统需求分析阶段，需要对企业当前的数据处理需求进行深入理解，明确...
【Windows环境】Ollama+DeepSeek+Dify个人知识库本地构建保姆级教程：从安装到知识库搭建详细步骤
04-11
：本文档详细使用场景及目标介绍了在Windows环境下：①帮助部署Ollama用户在本地环境中、DeepSeek、快速部署和运行Dify以及个人大语言模型（知识库的步骤如DeepSeek），。Ollama满足个人开发者或作为轻量化的大语言...
本地部署Dify 添加Ollama模型DeepSeek
03-23 680
使用终端命令 ollama list查询deepseek名称，如deepseek-r1:14b。本地部署Ollama默认只能本机访问，docker虚拟机是另一台机子，所以要开放访问权限。如果无法保存，在插件列表中删除Ollama，让后充填添加Ollama插件。在设置-》模型服务上里添加Ollama模型服务商，也叫插件。如果报错，是因为开头没有设置Ollama的访问权限。本地ollama 加载DeepSeek。在Ollama插件冲添加LLM模型，2、添加Ollama模型服务商。3、添加DeepSeek。
本地搭建AI开发平台Dify并使用Ollama添加大语言模型保姆级教程
内网渗透的博客
10-14 1万+
本篇文章介绍如何将Dify本地私有化部署，并且接入Ollama部署本地模型，实现在本地环境中部署和管理LLM，再结合cpolar内网穿透实现公网远程访问Dify。
【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程，没有连接互联网一样可以使用AI大模型！！！
weixin_45131680的博客
05-07 7966
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama。8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型。提问题，发现该模型给了很好的回复。
Dify添加ollama插件
sazass的博客
04-12 2172
dify安装完成后，网页输入：http://localhost/install。然后选择"模型供应商"，待配置中已经存在ollama。然后选择"模型供应商"，然后选择dify市场。安装完成后，点击右上角头像，选择"设置"3. dify市场搜索ollama。点击下拉菜单，然后选择本地插件按钮。2.点击右上角头像，选择"设置"选择下载图标，不用选择安装图标。选择之前下载好的插件。
手把手带你搞懂Deepseek-V3 低成本知识库，收藏这一篇就够了！！
2401_85325397的博客
01-20 1万+
1 可以通过 api 添加各种模型 2 上传文档就能本地新建知识库 3 各种 AI 工具直接打开 4 知识库配合 deepseek 3 ，加上 COT 提示词 效果不错 5 还能画图 6 有简单 Artifacts 功能，直接渲染代码 7 可以多个模型一起回答问题，就是样式是直接铺下来的。
Dify/RagFlow+Ollama本地部署deepseek模型（自用）
2302_79795489的博客
02-13 1250
在vscode打开dify——docker这个文件夹，然后终端执行两条命令。（3）复制模型名称时，检查不要多带了空格，否则会找不到模型，引发404错误。（2）执行程序时，检查一下问题栏有没有**库无法导入的情况！（1）选择Ollama作为模型供应商，填入模型名字和基础URL。这步耗时最久，因为服务器在国外（可开节点试试）且文件较大。（2）刷新一下，并确保模型已开启，然后设置系统推理模型。1、Docker要先运行起来，才能打开dify网页！用vscode把文件打开，最后加上两行。（先复制一份，防止修改失败）
终于可以在本地玩大模型了！Docker+Ollama+Dify，分分钟带你构建Llama模型本地服务，CPU也能玩的大模型教程！
datian1234的博客
12-28 5582
如今越来越多的伙伴们开始借助 Ollama 来把玩模型。Ollama是一款开源工具，它允许用户在本地便捷地运行多种大型开源模型，包括清华大学的ChatGLM、阿里的千问以及Meta的llama等等。但多数情况下，我们看到的都是那种拿来就用的“预制菜”模式，如果我们想要使用自己微调的模型，那又该怎么搞定呢? 今天这篇文章就来带大家看看如何通过 Ollama 来搭建“个性化”的模型服务，特别是针对那些经过微调、准备用于推理的模型，这个过程中我们还会借助到另外一个王炸工具辅助，Dify。
新手小白如何搭建一个像openai一样的本地大模型（步骤多版本）
zhishi0000的博客
05-11 3140
Ollama安装大模型1.安装ollama(本教程以win10系统为例）（1）下载地址：https://ollama.com/打开后进入以下下载地址下载windows版本ollama,其它系统选择对应版本如下图：下载后直接运行安装即可，安装好后右下角会显示一个羊驼的小图标（注意：ollama一般默认自动安装在C盘，后期如果下多个大模型，有的同学可能会面临空间不够，这里可以使用我找到的这个方法，如果不需要更改的可以略过此步骤）
Dify+ollama模型本地化部署保姆级教程
最新发布
Aiplayplus的博客
05-25 1661
Dify本地化部署指南：从零开始构建AI应用开发环境 本文详细介绍了Dify平台与Ollama的本地化部署流程。首先通过Docker Desktop完成基础环境搭建，包括WSL更新、镜像源配置等关键步骤。随后分步骤讲解Dify的安装部署，涉及环境文件修改、镜像拉取和服务启动。针对Ollama部分，涵盖程序安装、模型存储路径配置及服务验证。最后展示如何将Dify与本地Ollama模型对接，包括.env文件修改和供应商配置。整个过程注重实操细节，帮助开发者快速搭建完整的本地AI开发环境。
本地部署DEEPSEEK Ollama + DeepSeek + Dify
04-03
### 本地部署 DEEPSEEK 使用 Ollama 和 DeepSeek 并整合 Dify #### 配置与集成概述 为了实现 DEEPSEEK 模型的本地化部署并将其与 Ollama 和 Dify 整合，需要完成以下几个核心部分的工作：安装和配置 Ollama、下载和运行 DEEPSEEK 模型以及将这些组件与 Dify 进行无缝连接。 Ollama 是一种轻量级工具，用于管理和运行大型语言模型 (LLM)，支持多种模型架构。通过简单的命令即可启动指定版本的 DEEPSEEK 模型[^2]。而 Dify 则是一个应用框架，可以作为前端或中间件来调用 LLM 提供的服务。 --- #### 安装和配置 Ollama 要开始使用 Ollama 来管理 DEEPSEEK 模型，请按照以下方法操作： 1. **安装 Ollama** 下载最新版 Ollama 工具包，并根据操作系统执行相应的安装脚本。官方文档提供了详细的说明，确保环境满足最低依赖条件。 2. **拉取 DEEPSEEK 模型** 执行以下命令以获取特定版本的 DEEPSEEK 模型： ```bash ollama pull deepseek-r1:1.5b ``` 此命令会自动从远程仓库中提取 `deepseek-r1` 版本号为 `1.5b` 的预训练权重文件到本地存储路径下。 3. **验证模型加载状态** 启动服务前可以通过列表查看已成功导入的所有可用模型实例及其元数据信息： ```bash ollama list ``` --- #### 启动 DEEPSEEK 模型 一旦完成了上述准备工作，则可通过如下指令激活目标模型实例以便后续请求访问它所提供的功能接口： ```bash ollama run deepseek-r1:1.5b --port=11434 ``` 此命令将在默认端口上暴露 RESTful API 接口给外部程序调用，默认监听地址通常设置为 localhost 或者自定义 IP 地址。 --- #### 将 Ollama 与 Dify 集成 Dify 可作为一个灵活的应用开发平台，允许开发者轻松接入第三方 AI 能力。以下是具体步骤描述： 1. **创建项目结构** 初始化一个新的 Python 环境或者 Node.js 应用来承载整个业务逻辑流程设计工作流。 2. **编写适配器代码** 构建 HTTP 请求发送模块向刚才提到过的 Ollama 实例发起交互动作；例如利用 requests 库（Python）或其他同等效用库处理 POST 方法提交 JSON 数据体至 `/api/generate` 终结点位置处[^1]: ```python import requests url = "http://localhost:11434/api/generate" payload = { "prompt": "Tell me about the history of artificial intelligence.", "max_tokens": 100, "temperature": 0.7 } headers = {"Content-Type": "application/json"} response = requests.post(url, json=payload, headers=headers) result = response.json() print(result["response"]) ``` 3. **扩展应用程序界面** 结合实际场景需求进一步完善图形用户界面上展示效果等内容呈现形式等方面考虑因素进去之后再做最终调整优化方案出来就可以了. --- ### 总结 综上所述，在本地环境中部署 DEEPSEEK 模型并通过 Ollama 加载后，能够借助简单几行脚本快速搭建起一套完整的对话系统原型演示案例。与此同时，引入像 Dify 这样的高级别封装层还可以极大简化日常维护成本的同时提升整体用户体验满意度水平^. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值