Windows10本地部署Dify+Xinference

已于 2024-10-24 15:12:25 修改
阅读量3.4k 收藏 37
点赞数 16
分类专栏： AI相关 文章标签： ai dify xinference glm4
于 2024-10-24 15:07:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42047805/article/details/143205386
版权

前言

本文档在基于Windows10的本地电脑上部署使用Dify，其中必要用到的Xinference大模型管理框架，使用的大模型为GLM4-Chat-1m。

前置条件：确保已安装Anaconda、Python、Cuda。

一、安装必要项

1.安装Docker和AnaConda

Docker: Accelerated Container Application Developmenticon-default.png?t=O83Ahttps://www.docker.com/

下载 Anaconda Distribution |蟒蛇icon-default.png?t=O83Ahttps://www.anaconda.com/download

2.安装Xinference

打开Anaconda命令行页面

输入命令：

    最低0.47元/天 解锁文章
    Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
    丨汀、的博客
    08-16 7225
    Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
    本地部署DeepSeek-R1模型用于企业生产环境：基于Xinference
    maxcode
    02-05 5000
    以上是完整的部署流程与操作步骤，确保您能够在生产环境中成功部署并使用DeepSeek-R1-Distill-Qwen-7B模型。由于其强大的并行计算能力和对硬件加速的支持，Xinference成为企业级应用的首选平台，尤其适合复杂任务和大规模推理任务。Xinference则是为企业级应用量身定制的推理平台，支持高性能和大规模的推理任务。安装Xinference是部署DeepSeek-R1模型的首要步骤。创建一个简单的应用，并执行测试，确保与模型的连接正常，且推理结果符合预期。查看正在运行的模型及其状态。
    win10家庭版本地部署Dify(Hyper-v+Docker+Dify)
    m0_51171437的博客
    03-07 8532
    Dify 是一款开源的自动化运维平台，本文将详细介绍如何在 Windows 10 家庭版上本地非C盘部署Docker Desktop 及虚拟硬盘，同时在Docker上本地部署Dify；除此之外，还记录了部署过程中常遇到的各种问题及解决方案。
    Windows10环境下使用docker部署Dify
    qq_44684962的博客
    09-30 7954
    最近带教导师让使用dify做一些工程项目，我在此之前没用过dify，也不知道怎么部署，便花了些时间研究了一下，这篇博客的主要目的是记录如何在windows10系统上使用docker部署dify，碰到了哪些问题以及解决方案。Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
    Windows10环境dify1.0.1本地Docker Desktop部署
    qzhangml的博客
    03-19 5374
    Windows10环境dify1.0.1本地Docker Desktop部署，包含Docker desktop安装，dify源码下载Docker部署。
    windows 10家庭版部署Dify（含踩坑内容）
    yh
    03-17 1147
    windows docker部署Dify所有问题
    window本地部署Dify
    Baker的博客
    05-27 6303
    这节一起来实现Dify的离线部署，官方的github仓库也提供了docker的部署方式，我们也使用docker的方式部署，因此需要在window上安装docker环境，安装好后，我们先从github将源码下载下来，然后解压到一个文件夹下，这里是我下载后解压的项目目录。所以有端口冲突可以在此修改，当所有组件pull不并started后就可以了，打开浏览器，输入IP+port,如果刚才映射的端口被修改，要记得这里的port是修改映射后的新端口，修改后，打开命令提示符，进入项目的docker目录下，输入命令。
    win本地部署Dify，并接入deepseek-r1
    简单记录
    03-19 2358
    参考需要安装的软件有本机环境：win10企业版21H2，i5-12400，16GB，集显无独立显卡。
    Xinference内网环境离线部署并上传模型集成到dify
    最新发布
    2301_79182232的博客
    04-23 1916
    Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。
    AI老板心中的迈巴赫：DeepSeek+Ollama+Xinference+RAGFlow+Dify部署教程，RAG产品化体验5件套
    yanqianglifei的专栏
    03-21 1130
    DeepSeek-R1火了之后，Ai老板部署需求大大提升，抛开效果不谈，五件套易用性和灵活性相比VLLM大大提升，门槛较低，但是效果不言而喻。以下部署全部以docker方式进行，因为太方便了,但同时坑很多，请做好心理准备喜欢折腾的同学可以按照下面教程进行部署，我也是被逼无奈请杯子里面装满水，原地坐牢，不出意外的话就马上出意外了，一个BUG一支烟。
    Windows环境下部署Dify
    yupei7513的博客
    06-20 8903
    是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和LLMOps的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。
    win10部署xinference遇到的问题
    m0_45107976的博客
    03-25 8073
    通过该命令，可一键下载安装。先在macOS上一键部署，中途没有遇到任何障碍，奈何模型太大，mac的内存不够又配了一遍win10，然而在win10环境下，这条命令。
    windows环境本地部署Dify
    热门推荐
    yy869949908的博客
    11-26 1万+
    网上找到docker Desktop软件，并且安装（无配置，无需登录）
    Windows 安装 Xinference
    engchina的专栏
    03-08 7805
    Windows 安装 Xinference
    Dify本地部署（Windows）
    2301_76243816的博客
    04-17 518
    下载好dify安装包》解压》在本地文件夹复制一个 “.env.example” 文件，并将其改为 “.env” 文件，在“.env"文件里面添加。访问 https://127.0.0.1 会自动进入“设置管理员账户”。深层次AI应用的创新引擎，包括构建一个本地知识库，以及构建AI agent。在docker中出现这些就表明dify已经在本地部署好了。出现无法进去解决方法：管理员身份打开终端。打开Docker Desktop。如下所示的文件夹路径上打开终端。
    【LLM】Dify 0.6.10 在Windows系统上本地化部署（一）
    qq_33934427的博客
    06-11 8080
    【LLM】Dify 0.6.10 在Windows系统上本地化部署
    Windows环境中，Dify本地部署
    qq_35594661的博客
    03-19 931
    简介：本文档介绍的是使用docker部署Dify。
    Windows下安装部署Xinference
    slient_love的博客
    03-28 2210
    chatglm_cpp 可能需要一些 C++ 编译工具，特别是 Windows 系统上。启动，应使用 IP。将下载后的zip文件解压，并打开刚装好的conda。以下两个，打开哪个都可以。删除原先内容，进行以下配置。下载完成之后双击运行.exe文件，然后无脑下一步就行。系统变量，新建以下几条：（根据实际安装路径进行配置）命令，验证是否配置成功。环境创建成功后，需要在新建的xinf环境下安装。可能会报以下错误，原因是启动命令使用的是。安装完成之后，进行系统环境变量配置。命令，我们就可以看到修改后的配置。
    dify部署windows上
    03-04
    ### 如何在Windows操作系统上部署Dify #### 安装必要的组件和支持环境 为了成功部署 Dify，在 Windows 中需先安装并配置一些基础组件： - 打开【控制面板】> 【程序】> 【启用或关闭 Windows 功能】，确保已勾选“适用于 Linux 的 Windows 子系统 (WSL)”、“虚拟机平台”以及“远程差分压缩 API 支持”，这些选项对于支持后续操作至关重要[^1]。 #### 配置 Docker 环境 完成上述设置之后，下一步是准备 Docker 运行环境。虽然具体的 Docker Desktop 安装过程不再详述，但对于希望了解如何在 Windows 下正确安装 Docker 的用户来说，可查阅专门针对此主题的指南资源[^2]。 #### 使用 WSL 和 Docker 来运行 Dify 应用 一旦完成了前面提到的基础准备工作，就可以通过以下方式启动 Dify: ```bash # 更新包列表并安装所需的依赖项 sudo apt-get update && sudo apt-get install -y curl git # 获取最新版本的 Dify 并按照官方说明执行相应命令来初始化项目结构 git clone https://github.com/dify-ai/dify.git cd dify ./scripts/install.sh ``` 以上脚本会自动处理剩余部分的工作流程，包括但不限于拉取镜像、创建容器和服务编排等任务。 #### 测试与验证部署成果 最后一步是对新搭建的服务实例进行简单的功能测试，确认一切正常运作。通常情况下，默认地址 `http://localhost:80` 即可用于访问 Web 前端界面；而 RESTful API 则可通过发送 HTTP 请求至相同主机的不同路径来进行交互尝试。
    评论 11
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    橘长长长

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值