基于Dify +Ollama+ Qwen2 完成本地 LLM 大模型应用实战

最新推荐文章于 2025-07-28 11:52:42 发布
原创 最新推荐文章于 2025-07-28 11:52:42 发布 · 2.6k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#面试 #python

本文原文链接

尼恩：LLM大模型学习圣经PDF的起源

在40岁老架构师 尼恩的读者交流群(50+)中，经常性的指导小伙伴们改造简历。

经过尼恩的改造之后，很多小伙伴拿到了一线互联网企业如得物、阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试机会，拿到了大厂机会。

然而，其中一个成功案例，是一个9年经验 网易的小伙伴，当时拿到了一个年薪近80W的大模型架构offer，逆涨50%，那是在去年2023年的 5月。

不到1年，小伙伴也在团队站稳了脚跟，成为了名副其实的大模型 应用 架构师。

接下来，尼恩架构团队，通过 梳理一个《LLM大模型学习圣经》 帮助更多的人做LLM架构，拿到年薪100W, 这个内容体系包括下面的内容：

以上学习圣经 的 配套视频， 2025年 5月份之前发布。

需要准备的工具列表

基于Dify + Qwen2 完成本地 LLM 大模型应用实操, 需要准备的工具列表有：

  • windows11
  • vmware
  • centos
  • docker
  • docker-compose
  • dify
  • vscode
  • python 3.10.x
  • node.js 18.x
  • final shell

一、系统虚拟化

如果不想使用虚拟机CentOS+VM搭建Docker，可以在Window’s系统快速搭建Docker简化开发工作。

1.1 启用虚拟化

任务管理器(CTRL+Shift+Esc), 选择性能，查看CPU虚拟化，确认是否已启用（默认启用）。
在这里插入图片描述

1.2 启用Hyper-v并开启虚拟任务

按住键盘Win+R,输入control
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

二、安装 wsl

2.1 WSL简介

WSL（Windows Subsystem for Linux，Windows 下的 Linux 子系统）是微软在 Windows 10 和 Windows 11 中推出的一项功能，允许用户在 Windows 系统中运行完整的 Linux 环境，而无需 安装虚拟机 或双系统。

以下是关于 WSL 的详细介绍：

2.1.1 WSL 的主要功能

WSL 提供了一种在 Windows 系统中运行 Linux 环境的方法，特点如下：

  • 可以运行大多数 Linux 命令行工具、脚本和应用程序。
  • 兼容大多数 Linux 发行版（如 Ubuntu、Debian、Kali Linux 等）。
  • 无需启动虚拟机或双系统，性能接近原生。
  • 能直接访问 Windows 文件系统（通过 /mnt/c/ 等目录）。
2.1.2 WSL 的版本

WSL 有两个主要版本：

WSL 1

  • 特点：使用 Linux 系统调用翻译层，与 Windows 内核交互。
  • 优点：启动速度快，占用少量资源，兼容性高。
  • 缺点：不支持完整的 Linux 内核功能，如 Docker 等依赖内核功能的软件。

WSL 2

  • 特点：使用轻量级虚拟机运行完整的 Linux 内核。
  • 优点：性能更强，兼容性更好，可以运行 Docker 等复杂的应用程序。
  • 缺点：启动速度较慢，占用更多内存（但仍比传统虚拟机轻量）。

你可以通过以下命令检查 WSL 版本：

wsl --list --verbose
2.1.3 为什么使用 WSL？

WSL 对开发者和 Linux 用户特别有吸引力，原因包括：

开发者友好

  • 可直接在 Linux 环境中运行 Node.js、Python、Ruby、Go 等开发工具。
  • 使用 git 进行版本控制，支持 Linux 下的开发流程。

系统兼容

  • 直接访问 Windows 文件和工具（如 VS Code、PowerShell 等）。
  • 无需配置复杂的网络桥接即可在 Linux 和 Windows 应用之间传输数据。

无需虚拟机或双系统

  • 与传统虚拟机相比，占用更少的系统资源。
  • 不需要重新启动或切换系统。
2.1.4 WSL 的工作原理

WSL 在 Windows 上运行 Linux 的方式包括：

  • WSL 1：通过翻译层将 Linux 系统调用转化为 Windows 系统调用。
  • WSL 2：使用轻量级虚拟机运行完整的 Linux 内核，并通过快速文件传输机制与 Windows 文件系统交互。
2.1.5 WSL 的常见使用场景
  • Web 开发：使用 Linux 下的工具（如 Nginx、MySQL、Node.js 等）进行开发。
  • 学习 Linux：提供一个无风险的环境来学习 Linux 命令和工具。
  • 运行脚本和工具：如 Bash 脚本、Python 脚本等。
  • 系统集成：将 Linux 工具与 Windows 应用程序无缝结合。
2.1.6 与虚拟机的区别
特性 WSL 虚拟机
性能 接近原生 较高但略慢
启动速度 几乎瞬间启动 需要完整虚拟机启动
系统资源占用 很低 较高
兼容性 限于 Linux 命令行环境 完整的 Linux 桌面或服务器环境
文件系统访问 无缝访问 Windows 文件系统 需要配置共享文件夹
2.1.7 适合使用 WSL 的人群
  • Windows 用户，需要偶尔运行 Linux 工具或脚本
  • Web 开发者，特别是使用 Linux 环境作为部署目标的开发者。
  • 想学习 Linux，但又不想安装双系统或虚拟机的用户。

2.2 启用 WSL

2.2.1 打开 PowerShell（管理员模式）

img

2.2.2 输入以下命令来启用 WSL 和虚拟机平台：
wsl --install

该命令将自动启用所需的功能，包括 WSL 1、 WSL 2 和虚拟机平台。

若系统未安装虚拟机平台，安装过程中会提示你重启计算机。

如果 wsl --install 命令不可用，可以尝试以下单独的命令：

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

尼恩的 启用 WSL 过程如下：

<无法加载 Snipaste_2025-01-12_23-15-16.png，点击修复>

启用 WSL 命令解释

  • dism.exe：
    是 Windows 操作系统中的一个命令行工具，全称为 Deployment Image Servicing and Management Tool，用于服务和管理 Windows 映像，包括安装、卸载、配置 Windows 功能、驱动程序和更新等。
  • /online：
    表示对当前正在运行的 Windows 操作系统进行操作，而不是针对脱机的 Windows 映像文件。
第一条命令：
  /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
  • /enable-feature：此参数指示 DISM 启用指定的 Windows 功能。
  • /featurename:Microsoft-Windows-Subsystem-Linux：指定要启用的功能名称为 Microsoft-Windows-Subsystem-Linux。该功能是 Windows Subsystem for Linux（WSL），它允许用户在 Windows 系统上运行 Linux 环境，无需安装虚拟机或双启动系统。通过启用此功能，用户可以从 Microsoft Store 安装不同的 Linux 发行版，并在 Windows 系统中运行 Linux 命令行工具和应用程序，提高开发和运维的便利性，例如使用 Linux 命令进行开发、测试或管理服务器等。
  • /all：表示启用该功能的所有子功能（如果有的话），确保启用完整的功能集。
  • /norestart：指示 DISM 在完成操作后不要自动重启计算机。在某些情况下，用户可能不希望立即重启计算机，可以使用此参数，在完成其他操作后手动重启。
第二条命令：
  /enable-feature /featurename:VirtualMachinePlatform /all /norestart
  • /featurename:VirtualMachinePlatform：该参数指示 DISM 启用名为 VirtualMachinePlatform 的功能。这个功能与 Windows 的虚拟机平台相关，可能是为了支持某些虚拟机功能或增强 Windows 对虚拟机的兼容性和性能。在 WSL 2 的环境中，启用 VirtualMachinePlatform 是一个重要的步骤，因为 WSL 2 是基于 Hyper-V 虚拟机技术构建的，所以启用此功能有助于 WSL 2 的正常运行。
  • /all 和 /norestart 的含义与第一条命令中的相同，即启用该功能的所有子功能并避免自动重启计算机。

执行步骤

  1. 打开命令提示符（以管理员身份运行）：

    按下 Win + X 组合键，选择 命令提示符（管理员） 或 Windows PowerShell（管理员）。

  2. 输入命令：

    依次输入上述两条命令：

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

  1. 等待命令执行：

    DISM 会开始启用相应的功能，根据系统性能和功能大小，可能需要一段时间。你可以在命令提示符中看到操作的进度信息。

  2. 手动重启（可选）：

    由于使用了 /norestart 参数，如果你需要启用的功能在下次启动时才能生效，可在完成所有操作后手动重启计算机。

注意事项

  • 管理员权限：

    务必以管理员身份运行命令提示符或 Windows PowerShell，否则将无法使用 DISM 进行这些操作，会收到权限错误信息。

  • 系统兼容性：

    确保你的 Windows 版本支持上述功能，不同的 Windows 版本可能对这些功能的支持有所不同。一般来说，这些功能在 Windows 10 及以上版本可用，但具体的特性和要求可能会因 Windows 版本而异。

  • WSL 版本：

    如果你打算使用 WSL 2，在执行上述操作后，可能还需要进一步的步骤，例如从 Microsoft Store 安装 Linux 发行版，并设置 WSL 版本为 2。你可以使用 wsl --set-version <DistributionName> 2 命令将已安装的 Linux 发行版设置为 WSL 2，其中 <DistributionName> 是你安装的 Linux 发行版的名称。

这两条命令通常是为了在 Windows 系统上使用 Windows Subsystem for Linux 做准备工作。你是否在尝试安装 WSL 或者遇到了执行这些命令时的问题呢 可以告诉我你遇到的具体情况，我会尽力帮助你解决问题

2.3.安装Ubuntu 虚拟机

2.3.1 查看可安装发行版

2.3.1.1 查看可用的虚拟机

使用以下命令查看支持的 Linux 发行版：

wsl --list --online
2.3.1.2 输出示例
C:\Users\32956>wsl --list --online以下是可安装的有效分发的列表。

使用 'wsl.exe --install <Distro>' 安装。
NAME                            FRIENDLY NAMEUbuntu                          UbuntuDebian                          Debian GNU/Linuxkali-linux                      Kali Linux RollingUbuntu-18.04                    Ubuntu 18.04 LTSUbuntu-20.04                    Ubuntu 20.04 LTSUbuntu-22.04                    Ubuntu 22.04 LTSUbuntu-24.04                    Ubuntu 24.04 LTSOracleLinux_7_9                 Oracle Linux 7.9OracleLinux_8_7                 Oracle Linux 8.7OracleLinux_9_1                 Oracle Linux 9.1openSUSE-Leap-15.6              openSUSE Leap 15.6SUSE-Linux-Enterprise-15-SP5    SUSE Linux Enterprise 15 SP5SUSE-Linux-Enterprise-15-SP6    SUSE Linux Enterprise 15 SP6openSUSE-Tumbleweed             openSUSE Tumbleweed

2.3.2 安装虚拟机

2.3.2.1 安装指定的 Linux 发行版：
wsl --install -d <虚拟机名称>
2.3.2.2 例如安装 Ubuntu 20.04：
wsl --install -d Ubuntu-22.04
2.3.2.3 首次启动

安装完成后，首次启动时会提示设置用户名和密码。

设置完成后即可进入新的 WSL 环境。列如：

Enter new UNIX username: fhy
New password:
Retype new password:
passwd: password updated successfully
Installation successful!

2.3.3 验证虚拟机状态

2.3.3.1 验证虚拟机是否安装成功并启动
wsl --list --verbose
2.3.3.2 启动虚拟机
wsl

在 Windows 的命令提示符（CMD）或 PowerShell 中，可以使用wsl --shutdown命令来停止所有正在运行的 WSL 虚拟机。

如果只想停止特定的发行版，可以使用wsl --shutdown <发行版名称>，例如wsl --shutdown Ubuntu-20.04。

wsl --shutdown Ubuntu-20.04

2.3.4 删除现有虚拟机

2.3.4.1 查看已安装的虚拟机

使用以下命令列出当前已安装的 Linux 发行版：

wsl --list --verbose

输出示例：

C:\Users\32956>wsl --list --verbose  NAME            STATE           VERSION* Ubuntu-22.04       Running           1
2.3.4.2 注销或删除虚拟机

如果确定不需要某个虚拟机，可以删除它。

（1）注销虚拟机（保留文件）： 仅删除 WSL 环境配置，不会删除对应的文件：

最低0.47元/天 解锁文章
Dify 与 MySQL 深度融合技术指南：从架构设计到企业实践
zqmgx13291的博客
07-29 846
Dify 与 MySQL 的深度融合代表了 AI 应用开发的重要趋势 —— 将强大的语言模型能力与成熟的关系型数据库结合，构建可靠、高效、易维护的智能系统。通过本文阐述的架构设计、技术实现和优化策略，开发者可以快速落地类似方案，推动企业智能化转型。随着 MySQL 原生向量支持的到来和 Dify 生态的不断丰富，这一融合将释放更大潜力，成为构建企业级 AI 应用的首选技术栈。
私有化部署 Dify+Ollama并使用qwen2快速搭建 AI 应用
专注于Linux运维相关领域
08-04 7120
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
开源骚操作！改Logo、塞私货、传密钥｜某药企魔改Dify，惨遭律师函...
白天写代码，晚上追AI大模型，偶尔搞点八卦 开源动态｜技术干货｜实习机会｜生态活动 我负责分享，你负责变强
04-10 2852
Dify事件给所有企业敲响警钟——开源不是免费的广告牌，也不是规避商业规则的捷径。唯有尊重协议、敬畏社区，才能真正享受技术普惠的红利。
Dify插件内网安装，解决Dify1.x插件安装总失败问题，手把手教你暴力破解：从镜像源到二进制打包全攻略
yxkong的专栏
04-15 9458
需要注意的是，由于自己打的包，没有经过dify官方的审核，所以需要修改下配置。如果一般内网都有自己的镜像源，替换下自己的镜像源，在dify的配置文件中改成自己的镜像源即可。有些用户说内网不能联网，没法安装，但是我想说的是，一般内网隔离，一般都会有一些自己的镜像源。安装插件，这块需注意下,不要随意安装别人分享的插件，上传到插件市场的插件，官方应该都会过一遍，要不然也不能叫可信源。，存放的是官方和其他人发布的插件，理论上，我们都下载这两个目录，通过本地上传的方式都能安装上去。安装都是走的pip官方的。
【AI实践】应用Dify+Ollama实现基础Agent工作流（含RAG与LLM）
趣谈AI栈
10-25 3993
本文在流行度很高的Dify开发平台上，接入Ollama 部署的大型语言模型，实现一个细分领域的本地离线的Agent工作流应用（知识库+聊天助手）。
基于 Dify +大模型(LLM)+ Qwen3模型，输出合同审查智能体(Agent)
zzlyx99的专栏
05-06 2736
在商业合作与法律事务中，合同审查与起草是高频且专业的需求，传统的人工处理方式效率低、成本高，且容易因疏忽导致法律风险。如今，借助大语言模型（LLM）和低代码AI开发平台，企业可以快速构建私有化、智能化的合同处理助手，实现合同条款解析、风险提示、自动修订等核心功能。本文将详细介绍如何基于平台和大模型，从零开发一个高效、安全的企业级合同智能体，涵盖模型微调、法律知识库构建、合规性校验等关键技术，助力企业法务与商务团队降本增效，同时确保数据隐私与法律合规。
基于 Dify + vLLM插件 + Qwen3 构建问答机器人Docker版
qq_60245590的博客
05-03 2920
VLLM_SERVER_URL=http://vllm-server:8000 # 如果vLLM单独容器部署。官方提供的镜像，用于部署高性能的 OpenAI 兼容 API 服务（支持类似 ChatGPT 的接口）。在模型设置中，选择 vLLM 作为提供商，然后选择 Qwen3-7B 模型。├── qwen3-7b/ # 你新建的目录。CUDA 和 cuDNN (与你的 GPU 兼容的版本)建议使用单独的 Docker 容器运行 vLLM，修改。等 LLM 应用框架中，用于连接本地模型（如你配置的。
DIFY 浅尝 - Dify + Ollama 抓取BBC新闻
04-26 646
5分钟带你做一个旅游新闻爬虫工作流，最后给你一个推荐旅游景点
Python 【大模型】之 使用千问Qwen2-VL 多模型大模型进行训练并识别图像
仙魁XAN
12-18 5800
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
Jetson显卡上运行Qwen2-1.5b模型时报错“RuntimeError triu_tril_cuda_template not implemented for ‘BFloat16‘”
MITA1的博客
09-16 861
Jetson显卡上运行Qwen2-1.5b模型时报错“RuntimeError triu_tril_cuda_template not implemented for 'BFloat16'”
dify连接到MYSQL数据库（详细步骤）
最新发布
m0_72204162的博客
07-28 3630
重点：做完这三步记得重启Dify：/dify/docker目录下执行命令 docker compose up -d。编辑/dify/docker/ssrf_proxy/squid.conf.template文件。编辑/dify/docker/docker-compose.yaml文件。找到sandox的配置，在networks处，添加default。点击运行，在vscode可以看到200ok，说明成功连接。在终端运行 hostname -I （选择第一个）（3）允许dify请求外部环境。
Dify+Ollama本地部署Qwen2大模型服务
如云漂泊的博客
12-10 1324
Ubuntu环境下，通过Dify+Ollama快速搭建Qwen2大模型服务
这款国产AI神器放大招！破解中文内容生态最大痛点
go4it
02-27 863
目前市面上的cherry-studio、page-assit、anythingLLM、open-webui、dify产品都号称能让大模型支持联网搜索，对国内搜索引擎没有支持或者支持的不太好，国内内容生态最好应该是微信了，今天发现DeepChat产品内置了搜狗的微信搜索，可以结合deepSeek实现联网搜索。
高阶玩法——Dify生成的数据自动写入mysql数据库
qq_44493378的博客
01-24 7631
采用自定义工具方式，利用 python编写一个服务sql_save_post，将接收到的内容写入指定数据库的表中，并为该服务撰写一个 OpenAPI 的 schema。配置工作流：我们以写入天气预报为例，在生成天气预报内容后，连接自定义工具“sql_save_post”，将所需的字段配置完成后，实现将生成的内容自动写入mysql数据库中。编写OpenAPI的schema：在dify平台的工具栏目，创建自定义工具，输入工具名称“sql_save_post”。工具：sql_save_post；
Dify 实战：纯内网1.0+版本，攻克模型工具插件离线安装难题
Amelia_Liu的博客
05-15 359
因为我们知道python 的依赖环境很多时候是依赖国外镜像源，通常情况下我们需要把python 的依赖环境镜像源切换到国内的镜像源比如：pip国内镜像地址阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
【深度学习】详解如何保存训练好的最优模型
AI_dataloads的博客
10-10 5231
他的读取model方式为： 详细如何读取可以看我的这篇博客： 他的读取model方式为： 详细如何读取模型可以看我的这篇博客：
Dify + Agent实现自然语言查询Mysql数据库并分析
wangwei的博客
03-20 2798
Dify + Agent实现自然语言查询Mysql数据库并分析 问题是，我配置完AGENT中的提示词、变量、知识库、工具后，比如我输入“查询用户信息”，按照 【知识库】中的文件信息，生成的sql应该是 “select  *  from  sys_user”等sql,但现在情况是，生成的sql中的表信息，与我配置的知识库中的信息不一致，问题出在哪里，虚心请教，感谢！！！！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值