AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署

置顶 已于 2024-05-25 13:54:54 修改
阅读量8.1k 收藏 69
点赞数 77
分类专栏： AI智能体研发之路-工程篇 文章标签： 语言模型 人工智能 自然语言处理 python docker AIGC
于 2024-05-07 18:20:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48007632/article/details/138531565
版权

博客导读：

《AI—工程篇》

AI智能体研发之路-工程篇（一）：Docker助力AI智能体开发提效​​​​​​​

AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署

AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署

AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署

AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署

《AI—模型篇》

AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用

AI智能体研发之路-模型篇（二）：DeepSeek-V2-Chat 训练与推理实战

目录

一.引言

二.一行代码完成Xinference本地部署

三.两行代码完成Xinference分布式部署

四.开箱即用webui

1.Launch Model

2.Running Models

2.1测试qwen1.5-chat

2.2模型存储路径

3.Register Model

4.Cluster Information

五.模型使用

六.总结 

一.引言

上一篇大语言模型推理服务框架—Ollama介绍了Ollama，Ollama以出色的设计一行命令完成推理框架部署，一行命令完成大模型部署，模型的下载不依赖梯子，速度非常快，大幅提升模型部署效率，同时，当有多卡GPU时，Ollama可以自动将模型分片到各个GPU上，博主使用V100显卡（单卡32G显存）部署llama3 70B（预计需要40G显存），自动完成了显存分配。

今天来介绍一下Xinference，与Ollama比较，Xinference自带Webui与用户交互更加友好，只需点一下所需要的模型，自动完成部署，同时，Xinference在启动时可以指定Modelscope社区下载模型，对于无法登陆抱抱脸的伙伴，可以大幅提升模型下载效率。

这里还是想说两句，大模型领域，美帝目前确实是领先的，我们能做的只能是努力追赶，但在追赶的过程中发现，好多优秀的大模型领域开源项目，都是默认配置hugging face的，一方面是下载模型时间甚至超过了熟悉项目本身，另一方面是压根连不上导致项目跑不起来，导致在这片土地上水土不服。当然对在这片热土上生存的企业及工程师，可能学习门槛的提升，也是一件好事，天热的技术护城河哈哈

最低0.47元/天 解锁文章
使用 Xinference 部署本地模型
洛阳泰山的博客
04-24 8033
是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
人工智能领域博客
05-06 5378
一行代码完成Ollama本地部署，提升大语言模型推理服务部署与效果评测效率。
Xinference部署
2403_88093328的博客
03-08 767
首先就是确认自己的python版本，建议使用3.10及以上，太低的安装过程会比较多的问题，我这里使用的python版本是3.10，如果不是也可以在当前的环境中创建镜像，然后在镜像上面进行部署安装。经过漫长的等待后，终于安装成功，在这过程中，如果遇到报某个包没装的话，就是pip install一下，或者问问千问或者dp会有对应的具体解决办法，我这里运气很好没有报错，之前其他地方的时候遇到过。），接下来就是在一个新的服务器上部署Xinference，然后在Xinference上面部署向量化模型和重排序模型。
本地如何使用docker部署和使用Xinference
jsyzliuyu的博客
02-24 9478
本地如何使用docker部署和使用Xinference
Docker本地部署大模型集成框架Xinference
最新发布
2401_85343303的博客
05-09 1143
如果需要安装额外的依赖，可以参考 xinference/deploy/docker/Dockerfile（https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html）。请确保使用 Dockerfile 制作镜像时在 Xinference 项目的根目录下。
Xinference：一款性能强大且功能全面的大模型部署与分布式推理框架
热门推荐
qq_46094651的博客
08-13 2万+
除了使用LLM模型的Web界面进行操作外，Xinference还提供了API接口，通过调用API接口来使用LLM模型。在API文档中，存在大量API接口，不仅有LLM模型的接口，还有其他模型(如Embedding)的接口，并且这些接口都是兼容OpenAI API的接口。通过访问来查看API文档。Xinference提供了管理模型整个生命周期的能力。
【语言模型】Xinference的部署过程
kewaqi618的博客
06-28 7989
根据自己的需求构建自定义的Xinference Docker镜像，包括安装特定的依赖项、配置环境变量等。这有助于你更灵活地部署和管理Xinference服务。扩展API接口：如果你需要实现自定义的API接口或扩展现有接口的功能，你可以使用Xinference提供的Python SDK或RESTful API接口进行开发。这允许你根据自己的业务需求定制服务的功能和性能。
推理框架 Xinference和大模型部署（ChatGLM为例）
weixin_52514174的博客
07-04 9743
​ Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
Xinference安装及部署大模型
vvc_a的博客
08-14 1万+
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用，简单的讲就是部署大模型的应用，至于场景嘛，就是当我们自己使用本地模型的时候，切换起来方便。
AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署
人工智能领域博客
05-10 3327
本文列出了排坑后的Local-AI安装教程，及Local-AI前端，个人感觉，比如很友好，特别是对境内服务器开发者，建议还是看前两篇文章，选择Xinference和Ollama吧。
AI智能体研发之路-工程篇（二）：Dify智能体开发平台一键部署
人工智能领域博客
05-07 1万+
本文首先结合自己的工作写了一些对Agent AI智能体的见解，接着介绍了Dify框架快捷部署的过程，最后阐述了Dify框架的特点。个人认为Dify的发展会让Agent AI智能体开发提效，涌现更多有趣有价值的AI应用。
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
人工智能领域博客
05-14 1万+
本文先对LLaMA-Factory项目进行介绍，之后逐行详细介绍了该项目在国内网络环境下如何安装、部署，最后以Baichuan2-7B为例，通过讲解训练参数的方式详细介绍了基于LLaMA-Factory WebUI的大模型微调训练。篇幅有限，专栏内会持续更新，详细介绍大模型微调训练方法。如果觉得对你有帮助，期待您的关注，点赞、收藏或评论，您的支持是我持续码字的动力。
Xinference 分布式推理框架的部署
OFFTime_we的博客
01-12 1639
例如：随着AI模型的不断发展，AI模型的应用也越来越重要，Xinference部署则是学习的基石，本文就介绍了Xinference的模型部署与管理。
【大模型】Xinference的安装和部署
magic_ll的博客
12-29 1万+
Xinference通过提供简单API和强大的功能，使得私有化模型的大规模部署成为可能，无论是在个人电脑还是分布式集群中，都能够发挥异构硬件的全部潜力，达到最极致的吞吐量与最低的推理延迟。：Xinference简化了包括大语言模型、多模态模型、语音识别模型等模型部署的过程，允许用户轻松一键部署自己的模型或内置的前沿开源模型。：Xinference专注于优化模型的推理性能，并支持多种类型的模型，包括深度学习模型。如下图，待参数设置OK后，点击小火箭，则下载模型和加载模型，模型下载到默认路径。
Xinference 大模型推理框架部署与应用
weixin_42684822的博客
07-30 2382
linux部署Xinference 大模型推理框架，及应用，涉及两种方式部署。。。
Xinference：大模型部署与分布式推理框架（四）集成LoRA、部署其他模型——视觉模型、Embedding模型、Rerank模型、图像模型
Code1994的博客
09-28 2345
Xinference 可以在启动 LLM 和 image 模型时连带一个 LoRA 微调模型用以辅助基础模型。
自然语言处理: 第十四章Xinference部署
victor_manches的博客
02-27 4107
项目地址: Xorbitsai/inference正如同Xorbits Inference（Xinference）官网介绍是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。介绍这个项目主要是为了后面在dify能够快速部署接入AP
【xinference部署大模型超详细教程 gemma-it为例子】
放飞自我的coder
03-10 6720
【代码】【xinference部署大模型超详细教程 gemma-it为例子】
【LLM】-13-部署Xinference平台
宣晨光
07-31 1866
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。 聊天 & 生成 工具 视觉 嵌入 重排序 图像（实验性质） 音频（实验性质） 内置模型 大语言模型 嵌入模型 Image Models 音频模型 重排序模型 自定义模型 模型来源 集成LoRA 模型显存使用量计算
xinference docker部署
12-27
Xinference Docker 部署是指将 Xinference（可能是一个深度学习推理引擎或模型服务器）作为容器化应用部署到Docker环境中的过程。以下是基本步骤： 1. **下载镜像**：首先，你需要从Xinference的官方仓库或其他可信源获取Docker镜像。例如，如果你使用的是GitHub，可以查找`xinference/xinference`这样的标签。 ```bash docker pull xinference/xinference:latest ``` 2. **创建Dockerfile**：如果镜像是自定义的，你可能需要编写一个Dockerfile来指定运行环境、依赖和配置。Dockerfile通常包含基础镜像的选择、添加文件、设置环境变量等内容。 3. **构建镜像**：基于Dockerfile，通过`docker build`命令生成特定版本的Xinference Docker镜像。 ```bash docker build -t your-xinference-image . ``` 4. **运行容器**：使用`docker run`命令启动容器，并提供必要的端口映射（如8080端口），以便外部访问服务。 ```bash docker run -p 8080:8080 your-xinference-image ``` 5. **配置服务**：根据你的需求配置Xinference实例，比如加载预训练模型，设置API路由等。 6. **验证部署**：检查服务是否正常运行，通过HTTP请求测试模型的预测功能。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值