miniconda+xinference的大模型推理部署指南

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

35. 基于Dify的智能分类方案：大模型结合KNN算法（附代码）
36. OpenCompass：大模型测评工具
37. 一文读懂多模态大模型基础架构
38. 大模型管理平台：one-api使用指南
39. 大模型RAG、ROG、RCG概念科普
40. RAGOnMedicalKG：大模型结合知识图谱的RAG实现
41. DSPy：变革式大模型应用开发
42. 最简明的Few-shot Prompt指南
43. Semantic Kernel：微软大模型开发框架——LangChain 替代
44. 对话大模型Prompt是否需要礼貌点？
45. swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
46. 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
47. 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
48. miniconda+xinference的大模型推理部署指南

---

---

前言

大模型专栏涉及模型推理的内容很多，我之前涉及推荐过书生浦语家的lmdeploy、最典型的vllm原生框架、swfit微调框架（具备模型部署能力）。

今天想完整地给大家分享大模型推理部署指南，使用的是xinference，该框架封装了vllm，此外不仅支持推理模型，对于嵌入模型、重排模型也友好支持。

默认大家具备Anaconda或miniconda环境，没有的话自行下载即可。

环境部署简单粗暴，给大家打包到云盘里，嵌入、重排、推理模型这里也都提供了模型，解压后就能用，这里不赘述了。

上干货！

指南

1. 切换到conda env目录： cd /data/miniconda/envs,该步骤以自身情况为准，路径可能不同；
2. 创建虚拟环境文件夹： mkdir xinference；
3. 解压tar -xzvf xinference.tar.gz -C ~/miniconda3/envs/xinference，该文件文末云盘直接下载即可
4. 查看结果conda env list；正常来说会显示如下列表：
   
   此处强调一下，若出现conda: command not found可使用如下指令解决：
   export PATH=$PATH:【你的conda bin安装目录】
   如/home/vincent/anaconda3/bin
   此情况只有个别机器出现，是环境变量配置问题。
5. 激活虚拟环境：conda activate xinference
6. 使用指令运行服务：xinference-local --host 0.0.0.0 --port 9997

浏览器进行Xinference界面访问，访问地址为：IP:9997

注册模型并启动，具体包括大模型、嵌入模型、重排模型，如下图所示：

对于嵌入和重排模型，只需配置模型绝对路径和自定义名称：

对于大模型，除配置模型绝对路径和自定义名称外，还需配置如下信息：

配置完成后进入部署页面，配置最后参数部署即可：

其中k-v配置两项内容如下：
gpu_memory_utilization 0.8
gpu占用率
max_model_len 16384
上下文大小

资源

链接：https://pan.baidu.com/s/1ZN_9vZNNqIhAqyzb2Y-w7g 
提取码：ggdr