基于Xinference框架实现微调后Qwen/DeepSeek模型的流式与非流式批量推理

已于 2025-04-05 13:59:44 修改
阅读量1.2k 收藏 10
点赞数 25
CC 4.0 BY-SA版权
分类专栏： 大模型应用与实战 文章标签： Xinference 大模型 流式推理 非流式推理
于 2025-04-05 10:27:05 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.youkuaiyun.com/jining11/article/details/146283707

在当前大语言模型（LLM）蓬勃发展的时代，如何有效地利用和部署这些模型成为了许多开发者和研究者关注的焦点。在之前的《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》与《基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口》这两篇借助transformer库实现推理的基础上，本文将详细介绍如何基于Xinference框架来实现微调后Qwen/DeepSeek模型的推理，包括了流式与非流式两种推理方式的实现及其应用场景。

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Ollama vs Xinference: AI推理引擎对比报告
maxcode
02-05 3512
Ollama 和 Xinference 都是强大的AI推理引擎，旨在提升机器学习和深度学习模型的推理性能，但它们的应用场景、性能优化、以及支持的技术栈各自有所不同。本报告将详细比较这两者的架构、性能、应用场景、易用性、社区支持等方面，帮助开发者和企业根据自身需求选择合适的推理引擎。Ollama 适合开发者和小团队，特别是希望在本地进行推理的小型项目。其简洁易用的API和本地化推理能力，非常适合需要离线运行或本地资源有限的场景。
基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理
羊城迷鹿的博客
04-03 1382
在基于LLamaFactory微调完具备思维链的DeepSeek模型之后（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA，还需要进行一步导出模型的操作），实现快速高效的模型推理。本文将详细分享如何基于Transformer框架，通过多GPU并行实现DeepSeek模型的非流式批量推理，并解决在实践中遇到的关键技术挑战如输出结果错乱、to
Xorbits Inference 项目客户端 API 使用指南
最新发布
gitblog_00466的博客
06-05 402
Xorbits Inference 项目客户端 API 使用指南 项目概述 Xorbits Inference 是一个强大的模型推理服务框架，提供了多种类型的预训练模型支持，包括大语言模型(LLM)、嵌入模型(Embedding)、图像生成模型(Image)、音频处理模型(Audio)等。通过简洁的客户端API，开发者可以轻松地将这些模型集成到自己的应用中。 服务启动与连接 要使用Xorbits ...
【DeepSeek-R1】DeepSeek-R1-Distill-Qwen-1.5B 流式与非流式推理调用
chwei20002005的博客
02-03 1554
windows 11 下，部署 DeepSeek-R1-Distill-Qwen-1.5B。为了根据用户的需要做了两种形式一种是流式生成一种是非流式。
流式推理引擎对比
Apollos521的博客
07-23 5930
什么是流式推理引擎 推理引擎是将人工智能模型转化为生产力的关键部件。它衔接数据科学家、终端用户和运营商，在典型的商业场景中，运营商将数据科学家研究的人工智能模型，部署于计算平台，并引导终端用户的请求在计算平台各模型间流转，最终形成客户期望的响应，并在其终端展示。 流式推理引擎是推理引擎的一种工作形态，他将人工智能模型及相关的周边处理，以工作流的方式组织起来，对外提供更能适配客户业务需求的推理服务。 它工作的时候，数据从终端客户或设备开始，在推理引擎的驱动下，按照既定的工作流业务逻辑，在各智能和非智能处理节点
完美解释：wenet-流式与非流式语音识别统一模型
热门推荐
weixin_44885180的博客
12-22 2万+
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition 流式与非流式语音识别统一模型-出门问问&西工大方案 1.模型结构 如下图所示，模型包含三个部分，分别为共享的Encoder、CTC解码器、Attention解码器，共享Encoder包含多层transformer或者conformer，CTC解码器为一个全连接层和一个softmax层，Attention解码器包含多层transfor
langchain连接xinference并输出数据
weixin_43654613的博客
10-25 531
结合langchain、xinference、chainlit
基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口
羊城迷鹿的博客
04-05 915
在大语言模型（LLM）应用的实际落地过程中，流式推理（Streaming Inference）是提升用户体验的关键技术。与[《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》](https://wangjn.blog.youkuaiyun.com/article/details/146283684)中使用的传统的批量推理不同，流式推理允许模型在生成过程中实时返回部分结果，从而实现类似于人类对话的交互体验。本文将详细介绍如何基于Transformer框架对微调后的Qwen2和Dee
如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题
羊城迷鹿的博客
04-14 971
Qwen2.5是阿里巴巴推出的一系列大语言模型，提供基础版本（base）和instruct版本（用于指令微调）。经过指令微调，能够更好地理解和响应自然语言指令，通常用于对话和任务执行。Qwen2.5（基础版本）则是未经指令微调的模型，适用于更灵活的生成任务，但也可能由于缺乏微调导致某些行为异常，比如本文探讨的无限循环问题。问题本质：微调后的Qwen2.5模型配置文件中设置错误，导致生成无法正常终止排查方法：检查原始token输出和比较模型配置文件解决方案：修改配置文件或在代码中动态设置正确的。
如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务
羊城迷鹿的博客
04-14 1382
目标：让大模型总结出每个分类类别的典型特征和识别规律工作原理：将同一类别的所有样本聚合，提供给大模型，让它分析这些样本的共性输出：每个类别的判别规则和特征描述这个阶段实际上是利用大模型来执行知识归纳任务，让它从大量同类数据中总结规律，相当于让大模型自己提炼出区分不同类别的关键特征。第一阶段的目标是利用大模型对每一类别的原始数据进行分析，总结出这个类别的规律特征。数据准备加载原始分类数据及标签基于原始数据生成SFT（监督微调）数据第一阶段：类别规律总结对每个类别的所有样本进行合并。
顺丰科技基于WeNet端到端语音识别方案落地
weixin_48827824的博客
04-06 1515
顺丰科技是顺丰集团旗下的科技公司，自2021年初，顺丰科技从零开始逐渐完善形成了全面的信号处理、语音合成、语音识别和语言理解的能力体系，同时根据公司业务场景的需求，打造了智能质检、智能外呼等实际产品并实现了落地。
“三板斧“解决大模型推理“慢“问题
weixin_46423102的博客
04-23 5215
要想理解和解决大模型服务推理“慢”的问题，首先要知道大模型的推理结果是怎么产生的。由上图可知，推理过程是不断地根据上文（robot must obey）来猜测下文最可能出现的token（orders），最后拼接而成。如果需要输出更长的结果，那么就需要不断地去根据上文推理下一个token，直到结束。所以影响大模型推理“慢”的主要原因是不同模型推理速度和输出长度。
从FasterTransformer源码解读开始了解大模型（2.0）代码通读01
zzyincsdn的博客
05-12 1360
本篇的内容直接开始我们的代码通读，整个通读可能需要好几篇文章来将一整个gpt的代码结构给讲清楚。目前的计划是先从整体model层次开始讲，将ContextDecoder和Decoder讲完之后，再从模块内部（MHA和FFN）代码开始讲，中间也会穿插一些技术点的讲解。
WeNet：面向生产的流式和非流式端到端语音识别工具包
Together_CZ的博客
12-29 1989
WeNet: Production Oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit WeNet：面向生产的流式和非流式端到端语音识别工具包
西工大 ASLP 实验室在 WeNet 中开源基于 CPPN 的神经网络热词增强语音识别方案
weixin_48827824的博客
09-12 1743
语境偏置（Contextual biasing）旨在将语境知识集成到语音识别（ASR）系统中，以提高在相关领域词汇（俗称“热词”）上的识别准确率。在许多ASR场景中，待识别语音中可能会包含训练数据中数量很少或完全没出现的短语，例如一些领域专有名词、用户通讯录中的人名等，这些短语的识别准确程度对用户体验或下游任务的影响很大，但对于在通用数据上训练ASR系统来说又难以完全正确识别。因此语境偏置方法具有重要价值，旨在提升在这些“热词”上的识别准确率。
# RAG 框架 | 技术栈 #一文读懂Xinference架构！优秀开源项目技术栈分析
weixin_45312236的博客
10-15 1470
Xinference是一个利用actor编程框架Xoscar来管理机器、设备和模型推理进程的系统。每个actor都是模型推理的基本单元，可以集成多种推理后端。它支持多种推理引擎和硬件，并且具有异步和非阻塞的特性。：使用FastAPI实现，提供了一个示例API/status对应函数get_status。命令行：通过Click实现，允许用户在终端与Xinference进行交互。提供了几个命令行工具，如xinference和。Actor：基于Xoscar框架，可以管理计算资源和Python进程，支持并发编程。
Xinference+vllm启动qwen2.5*模型
qq_45383803的博客
10-11 7331
xinference+vllm部署模型
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 5575
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
llama factory训练QWEN3思维模型
05-10
### 如何使用 Llama Factory 训练 Qwen3 思维模型 Llama Factory 是一个用于快速搭建和微调大语言模型的工具包，能够帮助开发者高效完成模型训练、推理以及部署的任务。以下是关于如何使用 Llama Factory 训练 Qwen3 思维模型的相关说明。 #### 1. 准备工作 在开始之前，需要准备好必要的环境配置和数据集。具体步骤如下： - **安装依赖库** 需要先安装 Llama Factory 的相关依赖项。可以通过 pip 或者 conda 安装所需的 Python 库[^1]。 ```bash pip install git+https://github.com/your-repo/llama-factory.git ``` - **下载基础模型** 下载 Qwen3 模型权重文件，并将其放置在一个固定的目录下。例如，在本地路径 `E:\LLamaFactory\Qwen3` 中存储该模型[^1]。 - **准备数据集** 构建适合任务需求的数据集，通常是以 JSON 文件或者 CSV 文件的形式保存对话对或指令对。这些数据将被用来指导模型学习特定领域内的知识[^2]。 #### 2. 修改配置文件 进入 Llama Factory 提供的配置模板目录，编辑对应的 YAML 文件来适配自己的项目设置。主要参数包括但不限于以下几个方面： - **Model Path**: 设置为已下载的基础模型路径，比如 `E:\LLamaFactory\Qwen3`. - **Adapter Name or Path**: 如果采用 LoRA 方法，则指定 Adapter 路径；如果不需要额外加载 Adapter，可以留空。 - **Template**: 使用与目标模型匹配的 Prompt Template，这里可能选择类似于 `llama3` 的格式。 - **Fine-tuning Type**: 明确指出使用的微调方式（如 Full Fine-Tune 还是 LoRA），推荐优先尝试效率更高的 LoRA 方案[^3]。 #### 3. 启动训练过程 通过命令行运行脚本来启动实际的训练流程。假设已经调整好了所有的超参设定之后，执行下面这条语句即可触发整个计算逻辑链路： ```bash llamafactory-cli train examples/training/qwen3_config.yaml ``` 这一步骤会依据定义好的规则自动处理输入样本集合，并不断迭代更新内部参数直至满足收敛条件为止[^3]。 #### 4. 推理服务化 当顺利完成训练环节后，就可以着手考虑如何对外暴露预测能力了。对于经过定制化的 Qwen3 思维版本而言，可以选择多种途径来进行后续操作，例如非流式批量推理、流式推理接口封装等等[^4]。 --- ### 示例代码片段 以下是一个简单的 Python 脚本例子展示如何加载预训练模型并对其进行进一步加工改造： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("path/to/Qwen3") model = AutoModelForCausalLM.from_pretrained("path/to/Qwen3") def generate_text(prompt): inputs = tokenizer.encode(prompt, return_tensors="pt").to(model.device) outputs = model.generate(inputs, max_length=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return result if __name__ == "__main__": prompt = "请描述一下未来科技的发展趋势" response = generate_text(prompt) print(response) ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值