阿里云服务器部署xinference并推理大模型（小白入门，不会来砍我）

原创 已于 2025-02-20 14:54:51 修改 · 425 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#阿里云 #大模型部署 #xinference

于 2025-02-20 14:16:13 首次发布

1.确保阿里云服务器cuda版本安装好

(这步不会建议别往下看)

我这选的是12.4

2.直接安装all

conda create -n xinference python=3.10
conda acivate xinference
pip install "xinference[all]"
pip install flashinfer -i https://flashinfer.ai/whl/cu124/torch2.4

这个要根据自己的pytorch版本来安装，可以去这个网站找

https://docs.flashinfer.ai/installation.html

题主安装的是2.5版本

到这xinference便安装好了

3.启动xinference服务

xinference-local --host 0.0.0.0 --port 9997

通常下载模型直接启动访问不了huggingface，推荐使用下面的方式启动

XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

运行之后如下

4.直接在本地网页输入

http://localhost:9997/

题主用的是阿里云服务器，需要把端口转发出来

到这xinference已经能够正常启动了

5.打开网页操作（网页如下）

左下角可以中英文切换

选择启动模型，搜索自己想要部署的模型

点左下角小🚀

可以看到后台日志已经开始下载了

Candy_Rainbow_
关注
本地部署知识库——大模型框架xinference的本地架设
lxszyj的博客
06-27 5833
断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）
2024大语言模型入门指南：从小白到高手(基础篇)
张伟的专栏
07-31 3098
硬件资源篇。
Docker 部署 Xinference
学亮编程手记
03-25 1841
如果需要安装额外的依赖，可以参考。请确保使用 Dockerfile 制作镜像时在 Xinference 项目的根目录下。
Docker本地部署大模型集成框架Xinference
最新发布
2401_85343303的博客
05-09 1366
如果需要安装额外的依赖，可以参考 xinference/deploy/docker/Dockerfile（https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html）。请确保使用 Dockerfile 制作镜像时在 Xinference 项目的根目录下。
阿里云PAI部署自己的大模型(带视频教程)
weixin_72686033的博客
12-18 885
我们利用这个额度，去做一个使用llama-factory推理、微调的机器。阿里云PAI对新用户有3个月5000核时的免费使用额度(不是托)启动机器后，git一下llama-factory仓库。在2024年12月18日，这套命令可以直接部署环境。选择modelscope1.13.1版本。直接全部粘过去运行即可。
docker 安装 xinference
qq_39287495的博客
09-18 3664
xinferencegithub官网：https://github.com/xorbitsai/inference。
【大模型系列篇】Xinference：让模型推理轻而易举
木亦汐丫
12-16 2931
上篇我们通过Ollama和Dify复刻一套私有化部署的智能问答系统​《构建企业级智能问答系统：Ollama + Dify + RAG 的完美组合》，我们在优化知识库需要配置Rerank模型时，发现了一个性能强大且功能全面的分布式推理框架Xorbits Inference（Xinference）。Xinference由国人开发的推理框架，可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。
安装Xinference手把手教学，以及各种报错解决。
Ultravioletrays的博客
12-30 8703
Python 3.12 中移除了distutils，导致一些包（如setuptools）无法正常安装或执行。安装或升级setuptools可以解决大部分问题。升级 pip 并安装或重新安装setuptools是解决该问题的主要方法。2.8 重新再安装Xinference解决所有问题！！t=O83A文章提供了在Anaconda虚拟环境中安装GPU版本PyTorch的详细步骤，包括创建环境、确认CUDA版本、从PyTorch官网获取正确的pip安装命令，以及验证安装成功的技巧。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2690
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3003
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
GPU服务器本地搭建Dify+xinference实现大模型应用
qq_43548590的博客
09-25 4409
GPU服务器本地搭建Dify+xinference实现大模型应用
xinference搭建
liuzhenghua66的博客
04-09 6260
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。帮助文档：https://inference.readthedocs.io/zh-cn/latest/models/index.html 运维 部署 内置模型以及调用示例：https://inference.readthedocs.io/zh-cn/latest
xinference linux系统下部署
一休哥的专栏
09-19 2249
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。
【语言模型】Xinference的部署过程
kewaqi618的博客
06-28 8260
根据自己的需求构建自定义的Xinference Docker镜像，包括安装特定的依赖项、配置环境变量等。这有助于你更灵活地部署和管理Xinference服务。扩展API接口：如果你需要实现自定义的API接口或扩展现有接口的功能，你可以使用Xinference提供的Python SDK或RESTful API接口进行开发。这允许你根据自己的业务需求定制服务的功能和性能。
LangchainChatChat+Xinference推理大模型环境搭建rag教程
weixin_51923349的博客
12-26 1039
在工作目录的knowledge_base/samples/content/文件夹下,也就是目录/home/llm/chatchat_data/data/nowledge_base/samples/content/下的文件夹就是知识库内容存放的地方，还需要下载这个whl包，然后传服务器上去手动安装（清华源没有这个包，而且，要翻墙，所以只能手动下载，然后传上去）#启动完成以后，工作目录/home/llm/chatchat_data中就生成了如下的配置文件。修改chatchat的前端和API的启动IP和端口。
Xorbits Inference（Xinference）：一款性能强大且功能全面的大模型部署与分布式推理框架
积跬步，至千里。
09-13 4162
Xinference是一个性能强大且功能全面的分布式推理框架。可用于大语言模型，语音识别模型，多模态模型等各种模型的推理。通过Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。
大模型框架xinference的本地安装注意事项
大鹏的专栏
09-11 1849
这时候你在浏览器打开http://host-ip:9997/应该可以看到xinference的界面了。根据系统选择官方编译后的whl下载进行离线安装。这样，下载源就换为阿里的源了，同时服务也开启了。
大语言模型推理系列-Xinference企业级大语言模型部署
czdemo的博客
12-26 1311
Xinference 是针对生成式 AI 场景度身定制的能力全面的推理服务平台。功能覆盖算力、模型和高可用可观测的企业级能力。对于个人开发者还是企业来说都十分的好用。
Centos上用Xinference部署大模型！
Q794469的博客
05-23 1647
【代码】用Xinference本地部署大模型！
Xinference模型推理框架部署昇腾310B
03-22
<think>好的，我现在需要帮助用户在昇腾310B上部署Xinference模型推理框架。首先，我需要了解用户提到的昇腾310B和Xinference框架的相关信息。昇腾310B是华为的AI加速卡，常用于推理任务，而Xinference可能是一个开源的推理框架，但我不太确定它的具体情况。可能需要先确认Xinference是否支持昇腾硬件，或者是否有相关的适配工作。 根据用户提供的引用内容，特别是引用[1]和[2]，里面提到了MindX SDK、mxVision框架以及模型转换和推理的步骤。这可能意味着在昇腾平台上部署模型通常需要使用华为提供的工具链，比如CANN（Compute Architecture for Neural Networks）和MindX SDK。因此，部署Xinference可能需要将其集成到这些工具中，或者查看Xinference是否已经支持昇腾310B的NPU。 接下来，我应该分步骤思考如何部署。首先，环境准备，包括安装CANN套件和MindX SDK，这可能已经在引用[2]中提到的步骤里。然后，模型转换是关键步骤，需要将训练好的模型转换成昇腾支持的格式，比如OM模型。这可能涉及到使用ATC工具进行转换，如引用[1]中的模型转换步骤。 另外，用户提到Xinference框架，如果这是一个类似于ONNX Runtime或TensorRT的推理框架，可能需要检查其是否支持昇腾的ACL（Ascend Computing Language）接口。如果不支持，可能需要自己编写接口或者等待官方支持。 还有，安装依赖项可能比较复杂，比如Python版本（引用[2]提到安装Python3.9）、设置umask等系统配置。此外，样例代码的下载和模型的存放路径也可能需要注意，确保路径正确，权限设置合适。 在推理执行阶段，可能需要调用昇腾的推理接口，比如引用[1]中的infer函数。如果Xinference有自己的API，可能需要将其与昇腾的库链接起来，或者在代码中调用相应的硬件加速指令。 不过，可能存在一些不确定因素，比如Xinference是否已经适配昇腾310B。如果官方没有支持，可能需要用户自行修改源码或使用中间层进行适配，这可能会比较复杂。因此，在回答中需要建议用户先查阅Xinference的官方文档，确认是否支持昇腾架构，或者联系框架的维护者获取更多信息。 总结步骤可能包括：环境准备（安装CANN、MindX SDK等）、模型转换、Xinference框架的安装与配置、编写或调整推理代码、执行测试。同时，需要提醒用户注意依赖版本和系统配置，参考华为的官方文档和社区资源来解决可能遇到的问题。</think>在昇腾310B上部署Xinference模型推理框架需结合华为CANN和MindX SDK工具链。以下是分步指南： ### 1. **环境准备** - **安装CANN套件** 昇腾310B依赖CANN（Compute Architecture for Neural Networks）提供算力支持。需从[昇腾社区](https://www.hiascend.com/)下载并安装对应版本的CANN软件包，配置环境变量： ```bash source ${CANN_HOME}/set_env.sh ``` - **安装MindX SDK及mxVision** MindX SDK包含模型推理所需的库和工具。参考引用[2]，需完成以下步骤： - 设置umask为宽松模式（如`umask 0022`） - 安装Ubuntu系统依赖（如libssl、FFmpeg等） - 通过`pip`安装mxVision： ```bash pip3 install mxvision --extra-index-url=https://pypi.huaweicloud.com/repository/pypi/simple ``` ### 2. **模型转换** - **Xinference模型适配** 若Xinference模型为PyTorch或TensorFlow格式，需通过**ATC工具**转换为昇腾支持的OM格式。以TensorFlow为例： ```bash atc --model=model.pb --framework=3 --output=model_om --soc_version=Ascend310B ``` 转换时需注意算子兼容性，若存在不支持算子需手动优化或联系昇腾技术支持[^1]。 ### 3. **部署Xinference框架** - **框架集成** Xinference若未原生支持昇腾NPU，需通过以下方式适配： 1. **调用昇腾ACL接口**：在Xinference推理代码中调用`acl`库实现硬件加速。 2. **封装MindX插件**：参考MindX SDK文档，编写自定义插件并注册到Xinference的推理流程中。 - **依赖配置** 确保Python版本为3.9（引用[2]），并通过`LD_LIBRARY_PATH`链接昇腾动态库： ```bash export LD_LIBRARY_PATH=${CANN_HOME}/lib64:${MX_SDK_HOME}/lib:$LD_LIBRARY_PATH ``` ### 4. **推理代码示例** 基于昇腾接口的推理流程（参考引用[1][2]）： ```python import acl import mxvision as mx # 初始化昇腾设备 acl.init() context, ret = acl.rt.create_context(0) # 加载OM模型 model = mx.model.load("model_om.om") # 数据预处理 input_data = mx.vision.preprocess(image, resize=(224, 224)) # 执行推理 output = model.infer(input_data) # 释放资源 acl.rt.destroy_context(context) acl.finalize() ``` ### 5. **验证与调试** - **日志分析** 通过`ASCEND_LOG_LEVEL=1`开启调试日志，定位算子兼容性或内存分配问题。 - **性能调优** 使用昇腾提供的性能分析工具（如msprof）优化模型并行度与内存复用。 ### 注意事项 - **官方文档**：优先参考[昇腾开发者文档](https://ascend.huawei.com/zh/#/document)获取最新工具链支持。 - **社区支持**：若遇到框架兼容性问题，可通过昇腾社区或Xinference GitHub提交Issue。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值