【vLLM 学习】Audio Language

Windows一键部署IndexTTS 2.5与vLLM加速语音合成方案 文本转语音(TTS)技术是人工智能领域的重要分支,其核心原理是通过深度学习模型将文本序列转换为语音波形。随着Transformer架构的普及,TTS模型在自然度和表现力上取得了显著突破。为了提升推理效率,vLLM等高性能推理引擎应运而生,其核心的PagedAttention算法通过优化KV Cache内存管理,大幅提升了吞吐量和内存利用率,为模型部署带来了显著的工程价值。在语音合成、智能助手、有声内容生成等应用场景中,高效稳定的本地化部署是关键需求。本文聚焦于解决Windows环境下部署IndexTTS 2 阅读详情

vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。

更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/

*在线运行 vLLM 入门教程:零基础分步指南

源码 examples/offline_inference/audio_language.py

# SPDX-License-Identifier: Apache-2.0
"""
This example shows how to use vLLM for running offline inference
with the correct prompt format on audio language models.
For most models, the prompt format should follow corresponding examples
on HuggingFace model repository.
"""
"""
此示例显示了如何使用 vLLM 进行离线推理运行
使用音频语言模型的正确及时格式。
对于大多数型号,及时格式应遵循相应的示例
在 HuggingFace 模型存储库上。
"""
import os
from dataclasses import asdict
from typing import NamedTuple, Optional

from huggingface_hub import snapshot_download
from transformers import AutoTokenizer

from vllm import LLM, EngineArgs, SamplingParams
from vllm.assets.audio import AudioAsset
from vllm.lora.request import LoRARequest
from vllm.utils import FlexibleArgumentParser

audio_assets = [AudioAsset("mary_had_lamb"), AudioAsset("winning_call")]
question_per_audio_count = {
    0: "What is 1+1?",
    1: "What is recited in the audio?",
    2: "What sport and what nursery rhyme are referenced?"
}


class ModelRequestData(NamedTuple):
    engine_args: EngineArgs
    prompt: str
    stop_token_ids: Optional[list[int]] = None
    lora_requests: Optional[list[LoRARequest]] = None


# NOTE: The default `max_num_seqs` and `max_model_len` may result in OOM on
# lower-end GPUs.
# Unless specified, these settings have been tested to work on a single L4.
# 注意:默认的 `max_num_seqs` 和 `max_model_len` 可能会导致低端 GPU 出现 OOM(内存溢出)。
# 除非另有说明,这些设置已在单张 L4 GPU 上经过测试可正常运行。


# MiniCPM-O
def run_minicpmo(question: str, audio_count: int) -> ModelRequestData:
    model_name = "openbmb/MiniCPM-o-2_6"
    tokenizer = AutoTokenizer.from_pretrained(model_name,
                                              trust_remote_code=True)
    engine_args = EngineArgs(
        model=model_name,
        trust_remote_code=True,
        max_model_len=4096,
        max_num_seqs=5,
        limit_mm_per_prompt={"audio": audio_count},
    )

    stop_tokens = ['<|im_end|>', '<|endoftext|>']
    stop_token_ids = [tokenizer.convert_tokens_to_ids(i) for i in stop_tokens]

    audio_placeholder = "(<audio>./</audio>)" * audio_count
    audio_chat_template = "{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n<|spk_bos|><|spk|><|spk_eos|><|tts_bos|>' }}{% endif %}"  # noqa: E501
    messages = [{
        'role': 'user',
        'content': f'{audio_placeholder}\n{question}'
    }]
    prompt = tokenizer.apply_chat_template(messages,
                                           tokenize=False,
                                           add_generation_prompt=True,
                                           chat_template=audio_chat_template)

    return ModelRequestData(
        engine_args=engine_args,
        prompt=prompt,
        stop_token_ids=stop_token_ids,
    )


# Phi-4-multimodal-instruct
def run_phi4mm(question: str, audio_count: int) -> ModelRequestData:
    """
    Phi-4-multimodal-instruct supports both image and audio inputs. Here, we
    show how to process audio inputs.
    """
    model_path = snapshot_download("microsoft/Phi-4-multimodal-instruct")
    # Since the vision-lora and speech-lora co-exist with the base model,
    # we have to manually specify the path of the lora weights.
    # 由于 vision-lora 和 speech-lora 与基本模型共存,所以
    # 我们必须手动指定 lora 权重的路径。
    speech_lora_path = os.path.join(model_path, "speech-lora")
    placeholders = "".join([f"<|audio_{i+1}|>" for i in range(audio_count)])

    prompts = f"<|user|>{placeholders}{question}<|end|><|assistant|>"

    engine_args = EngineArgs(
        model=model_path,
        trust_remote_code=True,
        max_model_len=4096,
        max_num_seqs=2,
        enable_lora=True,
        max_lora_rank=320,
        limit_mm_per_prompt={"audio": audio_count},
    )

    return ModelRequestData(
        engine_args=engine_args,
        prompt=prompts,
        lora_requests=[LoRARequest("speech", 1, speech_lora_path)],
    )


# Qwen2-Audio
def run_qwen2_audio(question: str, audio_count: int) -> ModelRequestData:
    model_name = "Qwen/Qwen2-Audio-7B-Instruct"

    engine_args = EngineArgs(
        model=model_name,
        max_model_len=4096,
        max_num_seqs=5,
        limit_mm_per_prompt={"audio": audio_count},
    )

    audio_in_prompt = "".join([
        f"Audio {idx+1}: "
        f"<|audio_bos|><|AUDIO|><|audio_eos|>\n" for idx in range(audio_count)
    ])

    prompt = ("<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n"
              "<|im_start|>user\n"
              f"{audio_in_prompt}{question}<|im_end|>\n"
              "<|im_start|>assistant\n")

    return ModelRequestData(
        engine_args=engine_args,
        prompt=prompt,
    )


# Ultravox 0.5-1B
# Ultravox 0.5-1b
def run_ultravox(question: str, audio_count: int) -> ModelRequestData:
    model_name = "fixie-ai/ultravox-v0_5-llama-3_2-1b"

    tokenizer = AutoTokenizer.from_pretrained(model_name)
    messages = [{
        'role': 'user',
        'content': "<|audio|>\n" * audio_count + question
    }]
    prompt = tokenizer.apply_chat_template(messages,
                                           tokenize=False,
                                           add_generation_prompt=True)

    engine_args = EngineArgs(
        model=model_name,
        max_model_len=4096,
        max_num_seqs=5,
        trust_remote_code=True,
        limit_mm_per_prompt={"audio": audio_count},
    )

    return ModelRequestData(
        engine_args=engine_args,
        prompt=prompt,
    )


# Whisper
# 耳语
def run_whisper(question: str, audio_count: int) -> ModelRequestData:
    assert audio_count == 1, (
        "Whisper only support single audio input per prompt")
    model_name = "openai/whisper-large-v3-turbo"

    prompt = "<|startoftranscript|>"

    engine_args = EngineArgs(
        model=model_name,
        max_model_len=448,
        max_num_seqs=5,
        limit_mm_per_prompt={"audio": audio_count},
    )

    return ModelRequestData(
        engine_args=engine_args,
        prompt=prompt,
    )


model_example_map = {
    "minicpmo": run_minicpmo,
    "phi4_mm": run_phi4mm,
    "qwen2_audio": run_qwen2_audio,
    "ultravox": run_ultravox,
    "whisper": run_whisper,
}


def main(args):
    model = args.model_type
    if model not in model_example_map:
        raise ValueError(f"Model type {model} is not supported.")

    audio_count = args.num_audios
    req_data = model_example_map[model](question_per_audio_count[audio_count],
                                        audio_count)

    engine_args = asdict(req_data.engine_args) | {"seed": args.seed}
    llm = LLM(**engine_args)

    # To maintain code compatibility in this script, we add LoRA here.
    # You can also add LoRA using:
    # llm.generate(prompts, lora_request=lora_request,...)
    # 要维护此脚本中的代码兼容性,我们在此处添加 Lora。
    # 您还可以使用:
    # llm.generate (提示,lora_request = lora_request,...)
    if req_data.lora_requests:
        for lora_request in req_data.lora_requests:
            llm.llm_engine.add_lora(lora_request=lora_request)

    # We set temperature to 0.2 so that outputs can be different
    # even when all prompts are identical when running batch inference.
    # 我们将温度设置为0.2,以便输出可能不同
    # 即使在运行批处理推理时所有提示都相同。
    sampling_params = SamplingParams(temperature=0.2,
                                     max_tokens=64,
                                     stop_token_ids=req_data.stop_token_ids)

    mm_data = {}
    if audio_count > 0:
        mm_data = {
            "audio": [
                asset.audio_and_sample_rate
                for asset in audio_assets[:audio_count]
            ]
        }

    assert args.num_prompts > 0
    inputs = {"prompt": req_data.prompt, "multi_modal_data": mm_data}
    if args.num_prompts > 1:
        # Batch inference
        # 批次推理
        inputs = [inputs] * args.num_prompts

    outputs = llm.generate(inputs, sampling_params=sampling_params)

    for o in outputs:
        generated_text = o.outputs[0].text
        print(generated_text)


if __name__ == "__main__":
    parser = FlexibleArgumentParser(
        description='Demo on using vLLM for offline inference with '
        'audio language models')
    parser.add_argument('--model-type',
                        '-m',
                        type=str,
                        default="ultravox",
                        choices=model_example_map.keys(),
                        help='Huggingface "model_type".')
    parser.add_argument('--num-prompts',
                        type=int,
                        default=1,
                        help='Number of prompts to run.')
    parser.add_argument("--num-audios",
                        type=int,
                        default=1,
                        choices=[0, 1, 2],
                        help="Number of audio items per prompt.")
    parser.add_argument("--seed",
                        type=int,
                        default=None,
                        help="Set the seed when initializing `vllm.LLM`.")

    args = parser.parse_args()
    main(args)

【语音识别】vLLM 部署 Whisper 语音识别模型指南 使用 vLLM 部署 openai whisper 阅读详情

相关推荐

不到200块!手把手教你用ZYNQ7010和AD9363攒一台自己的开源SDR硬件(附BOM清单)

本文详细介绍了如何用不到200元的预算,基于ZYNQ7010 FPGA和AD9363射频芯片打造一台功能完备的开源SDR硬件平台。从核心组件选型、PCB设计到焊接调试,提供全流程实战指南,特别适合预算有限的硬件爱好者和创客群体探索无线通信世界。

weixin_26854829的博客 484

Voxtral Mini 3B 音频大模型快速部署指南

音频大模型是实现语音理解、会议转录与实时问答的核心技术,其本质是将原始音频信号通过tokenizer编码为语义token,并与文本在统一transformer架构中联合建模。相比传统Whisper+LLM两段式流水线,原生audio-language模型如Voxtral Mini 3B具备端到端推理、低延迟响应和轻量化部署优势。依托vLLM的音频流式支持、Streamlit的零前端交互封装及ngrok的免配置公网暴露能力,开发者可在单卡消费级GPU(如RTX 4090或Colab T4)上完成从模型加载到W

weixin_33842304的博客 307

拆解大疆M300电池BMS:基于TI TIDA-010030方案的硬件架构深度分析

本文深度解析了大疆M300无人机电池管理系统(BMS)基于TI TIDA-010030参考设计的硬件架构。通过对比TI方案与大疆实现的差异,详细介绍了BQ7694003监控前端和BQ34Z100电量计的优化设计,以及通信架构的可靠性改进。文章还揭示了大疆在成本、空间和标准化方面的工程妥协与创新平衡,为锂电池保护方案提供了实践参考。

weixin_27066963的博客 241

大模型-qwen+audio的vllm部署初探-1

替换 projector:把线性 projector 替为小型 transformer / attention 层,使 audio→text 映射更强。离线缓存 audio embeddings:对于高吞吐场景,提前把 audio encoder 的输出 cache 到磁盘(或 redis),生成时直接使用。支持 streaming:将改为 chunked 处理,并允许incremental 替换、与 LM KV cache 一起工作。热词/LLM 引导:在。

点滴的岁月 1466

【干货攻略】Oracle报错篇 ORA-01378 磁盘扇区大小不兼容问题

本期将为大家分享“ORA-01378 磁盘扇区大小不兼容”报错的问题解决方案。

PWY13148的专栏 1439

SAP FICO - 外币交易实战:汇率类型配置与货币换算率管理

月底关账前的外币评估就像财务人的"期末考",OB59配置就是你的备考方案。最低值原则(Lowest value principle)最保守。它会比较原始汇率与评估日汇率,取不利方向确认损失。适合风险厌恶型企业,我在制造业客户中应用最多。重估法(Revalue only)更反映市场现状。无论盈亏都按最新汇率调整,适合交易性金融资产处理。有个基金公司客户就靠这个方法及时反映了外汇波动收益。最小差异金额(Minimum difference)是防骚扰设置。

weixin_42524708的博客 359

大模型-qwen+audio的vllm部署初探-2

我们将输出一个增强版 Python 代码文件在原有和流式模式接口缓存状态维护动态 prompt 更新逻辑最后部分给出一个最小推理示例,演示完整流程。

点滴的岁月 573

CODESYS开发实战:EtherCAT总线伺服从站配置与运动控制

本文详细介绍了在CODESYS平台上进行EtherCAT总线伺服从站配置与运动控制的实战教程。内容涵盖从设备描述文件安装、主从站拓扑构建,到核心的伺服使能状态机编程、过程数据映射,以及最终实现点位运动控制的完整流程。文章旨在帮助开发者快速掌握基于CODESYS的EtherCAT总线伺服控制技术,提升工业自动化项目开发效率。

weixin_29281915的博客 329

vLLM 部署 openai whisper 模型实现语音转文字

vLLM 部署 openai whisper 模型实现语音转文字

engchina的专栏 2957

Open3D (C++) 计算点云坐标最值及其索引

使用C++版本的Open3D计算点云最值点及其对应的下标索引

点云侠的博客 731

基于 Logistic 混沌映射和 Arnold 变换 的变换域水印改进算法【高级网络与信息安全技术-信息隐藏期末课程论文】

摘要:\textbf{摘要:}摘要:本文提出了一种新的水印算法是一种图像认证的新方法。算法首先使用Logistic混沌映射加密水印图像,然后使用Arnold变换置乱水印。同时改变了水印图像的像素位置和像素值,大大提高了算法的安全性。再使用DCT变换嵌入水印,并且结合人类视觉系统的特点来提升水印嵌入的透明性。实验结果表明,本文提出的水印算法可以大幅度提高水印嵌入的透明性与安全性的同时,并不降低算法的鲁棒性。注:完整的代码和论文在文末,百度网盘链接。

zik的博客 896

大模型-qwen+audio的vllm部署初探-4

现在升级为。

点滴的岁月 448

3、★☛基于STM32的手机通过wifi控LED灯√♠★

3、基于STM32的手机通过wifi控LED灯 文章目录3、基于STM32的手机通过wifi控LED灯1、Introduce介绍1.1、课题背景及其意义1.2、 国内外的研究状况2、方案的设计2.1、控制方案的确定2.2、控制方式的选择2.2.1、 单片机芯片的选择方案一方案二方案三方案四2.2.2、无线遥控模块的选择方案一方案二方案三3、硬件电路的设计3.1、系统的功能分析及体系结构设计3.1.1、系统功能分析3.1.2、系统总体结构3.2、模块电路的设计3.2.1、 STM32单片机核心电路设计3.2.

行走的皮卡丘 2965

vLLM 中 Qwen2.5-Omni 多模态离线推理实战:Thinker-Only 模式、提示词格式与音频视频混合输入

本文以 vLLM 仓库中 [Qwen2.5-Omni 离线推理示例文档](https://link.gitcode.com/i/af4ea785eb44b8071da63f80399f582f) 为核心,系统讲解如何在 vLLM 中只运行 Qwen2.5-Omni 的 Thinker(理解端)完成音频、图像、视频及混合模态的离线推理。读完本文,你将掌握该模型正确的提示词占位符格式、`limit_m

gitblog_00112的博客 459

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

vllm-ascend 部署 Dots3 Note 多模态 MoE+MLA 模型实战指南

本篇指南面向在华为 Atlas A3 昇腾 NPU 集群上通过 vLLM-Ascend 在线部署 Dots3 Note(MoE + MLA 架构、支持文本/图像/音频三种形态的多模态大模型)的开发者,完整覆盖从硬件检查、镜像安装、环境变量配置,到 text-only / image / audio 三种服务形态的启动命令与参数逐项说明,以及健康检查、curl 功能验证、GSM8K 精度评测与 AI

gitblog_00568的博客 774

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

vLLM 多模态输入完全指南:图像、视频、音频与 Embedding 的离线与在线推理实践

多模态输入是 vLLM 对多模态语言模型(Multimodal Language Model,MLM)的核心接入方式:在离线推理中通过 `LLM.generate` / `LLM.chat` 传入 `multi_modal_data` 字典,在在线服务中则通过 OpenAI 兼容的 Chat Completions API 直接发送 `image_url`、`video_url`、`input_a

gitblog_01001的博客 1114

vllm-mlx监控与基准测试:Prometheus指标和性能分析工具使用指南

vllm-mlx是一款为Apple Silicon优化的高性能LLM服务,支持OpenAI和Anthropic兼容接口,提供连续批处理、MCP工具调用和多模态支持。本文将详细介绍如何利用Prometheus指标和性能分析工具监控vllm-mlx服务状态并进行基准测试,帮助用户实现服务的稳定运行和性能优化。 ## 启用Prometheus监控功能 vllm-mlx内置了Prometheus指标收

gitblog_00337的博客 781

vllm-mlx语音功能全解析:TTS和STT在Apple Silicon上的高效应用

🚀 **在Apple Silicon上体验极速语音AI:vllm-mlx的TTS和STT功能全面解析** vllm-mlx是一款专为Apple Silicon优化的AI推理服务器,它不仅支持大语言模型和视觉语言模型,还提供了强大的**语音功能**——包括文本转语音(TTS)和语音转文本(STT)。本文将深入解析vllm-mlx的语音功能,展示如何在Mac上实现高效的语音AI应用。 ## 🔥

gitblog_00818的博客 1051

vLLM-Omni 文本转语音在线服务实战:从 OpenAI 兼容 API 到多模型 TTS 部署

本文是 vLLM-Omni 项目文本转语音(TTS)在线服务的中文实战指南,围绕 [`docs/user_guide/examples/online_serving/text_to_speech.md`](https://link.gitcode.com/i/7939ad5a3286ad8ba49c7cf1b1610bc5) 展开。vLLM-Omni 通过 OpenAI 兼容的 `POST /v1

gitblog_00342的博客 48

Ming-3.0-audio-flash 语音识别实战:中英方言、噪声环境下的高精度ASR用法

Ming-3.0-audio-flash 是 inclusionAI 推出的原生音频语言模型,一次加载即可同时完成**语音识别(ASR)、口语问答、音频理解与音频推理**。如果你正在寻找一套能应对中英混合、方言口音、嘈杂噪声的通用语音识别方案,这篇实战指南会带你从零跑通高精度 ASR,并给出工程化部署路径。 ## 一、为什么选择 Ming-3.0-audio-flash 做语音识别 传统 AS

gitblog_00616的博客 435

Ray Serve LLM 与 vLLM 兼容性实战指南:Embeddings、结构化输出、视觉与推理模型部署

Ray Serve LLM 提供了一套与 vLLM OpenAI 兼容服务器高度对齐的 OpenAI 兼容 API,大部分可用于 `vllm serve` 的 `engine_kwargs` 参数都能直接用于 Ray Serve LLM,让你在享受 vLLM 完整特性集(多模态、结构化输出、推理模型、Embedding 等)的同时,获得 Ray Serve 的分布式部署能力。读完本文,你将掌握如何

gitblog_00070的博客 742

vLLM 语音转文本(ASR)模型接入指南:完整实现 SupportsTranscription 接口

本文讲解如何在 vLLM 中为自研的语音识别(ASR)/语音翻译模型接入 `/v1/audio/transcriptions` 与 `/v1/audio/translations` OpenAI 兼容 API。核心路径是让模型类实现 `SupportsTranscription` 接口,声明语言映射、提供 `SpeechToTextConfig`、构造生成 prompt;读完后你可以独立完成一个

gitblog_00866的博客 248

vllm-mlx模型管理教程:获取、转换和优化MLX格式模型

想要在Apple Silicon Mac上高效运行大型语言模型和视觉语言模型吗?vllm-mlx是专为苹果芯片优化的AI模型推理服务器,支持OpenAI和Anthropic兼容API,提供连续批处理、分页KV缓存和SSD层级缓存等高级功能。本教程将详细介绍如何获取、转换和优化MLX格式模型,帮助您充分利用Apple Silicon的强大性能。 ## 🚀 为什么选择vllm-mlx? vllm

gitblog_00926的博客 879

vllm-mlx完全指南:如何在Apple Silicon上部署高性能LLM服务

**vllm-mlx** 是一款专为Apple Silicon设计的开源大语言模型服务框架,提供与OpenAI和Anthropic兼容的API接口。无论你是AI开发者还是普通用户,都能在几分钟内快速部署高性能的LLM服务,享受400+ tokens/s的惊人推理速度!🚀 ## 📋 为什么选择vllm-mlx? ### 🌟 核心优势 - **原生Apple Silicon支持**:专为M1

gitblog_00062的博客 514

如何用vllm-mlx构建OpenAI兼容API服务:从零开始的实战指南 [特殊字符]

在Apple Silicon Mac上部署大语言模型服务,你是否遇到过性能瓶颈或兼容性问题?🤔 **vllm-mlx** 是一个专为Apple Silicon设计的开源推理服务器,它不仅提供与OpenAI完全兼容的API接口,还支持Anthropic Claude格式,让你在Mac上轻松构建高性能的AI服务。作为一款原生支持Metal加速的框架,vllm-mlx让开发者能够在Apple芯片上获得

gitblog_01153的博客 802

vLLM-Omni ComfyUI 集成实战:在 ComfyUI 画布中驱动远程多模态推理节点

vLLM-Omni 在 OpenAI 兼容的在线服务 API 之上提供了一套官方 ComfyUI 集成(位于仓库 `apps/ComfyUI-vLLM-Omni`),让你可以把文本生图、文生视频、多模态理解、语音合成等推理请求,直接编排成 ComfyUI 可视化工作流。它既可以连接本机运行的 vLLM-Omni 服务,也可以连接局域网或公网可达的远程服务,ComfyUI 端无需加载任何模型权重。读

gitblog_00554的博客 704
上一篇: vLLM 实战教程汇总,从环境配置到大模型部署,中文文档追踪重磅更新
下一篇: 【TVM 教程】microTVM PyTorch 教程
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值