AI大模型学习二十七、xinference一次部署CHATTTS + whisper-tiny + qwen3:8b多个大模型（参考意义巨大），改写dify 数字人应用

已于 2025-05-24 08:23:38 修改
阅读量1.4k 收藏 16
点赞数 20
CC 4.0 BY-SA版权
分类专栏： AI大模型学习 文章标签： 人工智能 agent ollama dify whisper digital-human qwen3
于 2025-05-23 17:52:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiangkp/article/details/148097378

一、说明

AI大模型学习二十六、使用 Dify + awesome-digital-human-live2d + ollama + ChatTTS打造数字人-优快云博客https://blog.youkuaiyun.com/jiangkp/article/details/148043962?spm=1011.2415.3001.5331我们在上一篇文章中完成了数字人应用，但是留个问题没解决，就是xinference一次部署在一个GPU环境中只能部署一个大模型，这一篇就是为了解决这个问题，而且我们把语言模型qwen3也部署在xinference

多个模型同时运行直接看第五节 想办法实现多个模型同时启动，第三节，第四节可以不看，那样安装无法完成多个模型同时运行

二、准备阶段

1、文档看官方地址

欢迎来到 Xinference！ — Xinferencehttps://inference.readthedocs.io/zh-cn/latest/index.html

2、在腾讯cloudstudio 在线平台申请GPU系统

16g 显存 +  32G内存  免费的

三、安装Xinference

apt-get update
apt-get install ffmpeg

# 假设已经安装
conda create --name xinference python=3.10
#conda remove --name xinference --all
conda activate xinference
# 根据自己的cuda选择，我的是12.0，但是没有cu120 所以我们用cu121 这里安装不好，会导致错误
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121
 
pip install xxhash Cython cmake -i https://pypi.tuna.tsinghua.edu.cn/simple
# 这两个先装，要不然出错了麻烦
pip install pyopenjtalk audioread

pip install "xinference[all]" -i https://pypi.tuna.tsinghua.edu.cn/simple


conda activate xinference

export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=`pwd`/xf-data
nohup xinference-local --host 0.0.0.0 --port 9997 > xinference-local.log 2>&1 &

tail -f xinference-local.log

四、安装3个模型

# 大模型
xinference launch --model-uid whisper-1 --model-name whisper-large-v3 --model-type audio
# 小模型，我们有这个，资源不够
xinference launch --model-uid whisper-1 --model-name whisper-tiny --model-type audio
xinference launch --model-uid chattts-1 --model-name ChatTTS --model-type audio
xinference launch --model-engine Transformers --model-name qwen3 --size-in-billions 8 --model-format pytorch --quantization none
#查询安装的模型
curl http://0.0.0.0:9997/v1/models

安装 whisper-tiny

安装ChatTTS

安装不成功，必须终止前面安装的whisper-tiny

用xinference list可以查看

下面命令终止

xinference terminate --model-uid "whisper-1"

然后执行

xinference launch --model-uid chattts-1 --model-name ChatTTS --model-type audio

安装qwen3
同样终止所有模型，然后安装
xinference launch --model-engine Transformers --model-name qwen3 --size-in-billions 8 --model-format pytorch --quantization none

 xinference cached

只能同时启动1个模型，网络上安装能同时启动多个模型的，不知道怎么完成的 

五、想办法实现多个模型同时启动

前面安装的模型意义不大，这一节相当于重新安装，我是又申请了一个cloud studio 高性能工作空间

1、准备工作

没啥好准备的，确认安装了python 3.10以上，以下的没试过，网上也有用3.8的

(base) root@VM-0-80-ubuntu:/workspace/qwen3# python -V
Python 3.10.11

安装ffmpeg，这个是ubuntu系统安装的，共用的应用

apt-get update
apt-get install ffmpeg

2、安装qwen3

# 建立目录
mkdir -p /workspace/qwen3
cd /workspace/qwen3

#建立虚拟环境
python -m venv /workspace/qwen3/.venv

source /workspace/qwen3/.venv/bin/activate


pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install xxhash -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /workspace/qwen3/xf-data
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/qwen3/xf-data/
export HF_ENDPOINT=https://hf-mirror.com

nohup xinference-local --host 0.0.0.0 --port 9991 > /workspace/qwen3/xinference-local.log 2>&1 &

tail -f xinference-local.log


xinference launch --model-uid qwen3-1 --model-engine Transformers --model-name qwen3 --size-in-billions 8 --model-format pytorch --quantization none --endpoint "``http://127.0.0.1:9991``"

 查询运行的模型

xinference list --endpoint "http://127.0.0.1:9991"

xinference terminate --model-uid qwen3-1

 退出虚拟环境，进行下一个安装

deactivate

如果想重新去查询qwen3模型的状态，可以中心激活虚拟环境
source /workspace/qwen3/.venv/bin/activate

3、安装whisper-tiny

# 建立目录
mkdir -p /workspace/whisper-tiny
cd /workspace/whisper-tiny

#建立虚拟环境
python -m venv /workspace/whisper-tiny/.venv

source /workspace/whisper-tiny/.venv/bin/activate


pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install xxhash -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /workspace/whisper-tiny/xf-data
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/whisper-tiny/xf-data/
export HF_ENDPOINT=https://hf-mirror.com

nohup xinference-local --host 0.0.0.0 --port 9992 > /workspace/whisper-tiny/xinference-local.log 2>&1 &

tail -f xinference-local.log


xinference launch --model-uid whisper-1 --model-name whisper-tiny --model-type audio --endpoint "``http://127.0.0.1:9992``"

deactivate

如果想重新去查询qwen3模型的状态，可以中心激活虚拟环境
source /workspace/qwen3/.venv/bin/activate

4、安装CHATTTS

# 建立目录
mkdir -p /workspace/chattts
cd /workspace/chattts

#建立虚拟环境
python -m venv /workspace/chattts/.venv

source /workspace/chattts/.venv/bin/activate


pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install xxhash ChatTTS -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /workspace/chattts/xf-data
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/chattts/xf-data/

# 本来用9993 被占用，没研究为什么被占用

nohup xinference-local --host 0.0.0.0 --port 9997 > /workspace/chattts/xinference-local.log 2>&1 &

tail -f xinference-local.log

xinference launch --model-uid chattts-1 --model-name ChatTTS --model-type audio --endpoint "http://127.0.0.1:9997"

5、查询安装的模型 

#查询安装的模型
curl http://0.0.0.0:9991/v1/models
curl http://0.0.0.0:9992/v1/models
curl http://0.0.0.0:9997/v1/models

6、网页版查询 

 

7、总结一下，一键安装

vi /workspace/install.sh

#!/bin/bash

apt-get update -y
apt-get install ffmpeg -y

# 建立目录
mkdir -p /workspace/qwen3
cd /workspace/qwen3

#建立虚拟环境
python -m venv /workspace/qwen3/.venv

source /workspace/qwen3/.venv/bin/activate

sleep 2
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install xxhash -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /workspace/qwen3/xf-data
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/qwen3/xf-data/
export HF_ENDPOINT=https://hf-mirror.com

nohup xinference-local --host 0.0.0.0 --port 9991 > /workspace/qwen3/xinference-local.log 2>&1 &
# 如果出现连接错误，这个时间放长一点，主要是xinference-local启动没有完成
sleep 60

xinference launch --model-uid qwen3-1 --model-engine Transformers --model-name qwen3 --size-in-billions 8 --model-format pytorch --quantization none --endpoint "http://127.0.0.1:9991"

xinference list --endpoint "http://127.0.0.1:9991"

deactivate

# 建立目录
mkdir -p /workspace/whisper-tiny
cd /workspace/whisper-tiny

#建立虚拟环境
python -m venv /workspace/whisper-tiny/.venv

source /workspace/whisper-tiny/.venv/bin/activate
sleep 2

pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install xxhash -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /workspace/whisper-tiny/xf-data
export XINFERENCE_MODEL_SRC=modelscope
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_HOME=/workspace/whisper-tiny/xf-data/

nohup xinference-local --host 0.0.0.0 --port 9992 > /workspace/whisper-tiny/xinference-local.log 2>&1 &
# 如果出现连接错误，这个时间放长一点，主要是xinference-local启动没有完成
sleep 60
xinference launch --model-uid whisper-1 --model-name whisper-tiny --model-type audio --endpoint "http://127.0.0.1:9992"

xinference list --endpoint "http://127.0.0.1:9992"

deactivate

# 建立目录
mkdir -p /workspace/chattts
cd /workspace/chattts

#建立虚拟环境
python -m venv /workspace/chattts/.venv

source /workspace/chattts/.venv/bin/activate

sleep 2
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install xxhash ChatTTS -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference[vllm] -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xinference[transformers] -i https://pypi.tuna.tsinghua.edu.cn/simple

mkdir -p /workspace/chattts/xf-data
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/chattts/xf-data/

nohup xinference-local --host 0.0.0.0 --port 9997 > /workspace/chattts/xinference-local.log 2>&1 &
# 如果出现连接错误，这个时间放长一点，主要是xinference-local启动没有完成
sleep 60
xinference launch --model-uid chattts-1 --model-name ChatTTS --model-type audio --endpoint "http://127.0.0.1:9997"
xinference list --endpoint "http://127.0.0.1:9997"

deactivate
chmod +x /workspace/install.sh

忘了记录安装一个后占用显存的值，这个数3个模型总数 

8、一键启动

上面第一次安装时启动，但是在关机重启后，因为都已经有缓存和虚拟环境了，用安装过依耐了，所以可以写个sh脚本，直接运行一次命令启动

start .sh

vi /workspace/start.sh

#!/bin/bash

# 启动qwen3
cd /workspace/qwen3

source /workspace/qwen3/.venv/bin/activate
sleep 2

export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/qwen3/xf-data/

nohup xinference-local --host 0.0.0.0 --port 9991 > /workspace/qwen3/xinference-local.log 2>&1 &
# 如果出现连接错误，这个时间放长一点，主要是xinference-local启动没有完成
sleep 60

xinference launch --model-uid qwen3-1 --model-engine Transformers --model-name qwen3 --size-in-billions 8 --model-format pytorch --quantization none --endpoint "http://127.0.0.1:9991"
xinference list --endpoint "http://127.0.0.1:9991"
deactivate


# 启动chattts
cd /workspace/chattts

source /workspace/chattts/.venv/bin/activate
sleep 2

export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/chattts/xf-data/

nohup xinference-local --host 0.0.0.0 --port 9997 > /workspace/chattts/xinference-local.log 2>&1 &
# 如果出现连接错误，这个时间放长一点，主要是xinference-local启动没有完成
sleep 60

xinference launch --model-uid chattts-1 --model-name ChatTTS --model-type audio --endpoint "http://127.0.0.1:9997"

xinference list --endpoint "http://127.0.0.1:9997"

deactivate
# 启动whisper-tiny
cd /workspace/whisper-tiny

source /workspace/whisper-tiny/.venv/bin/activate
sleep 2

export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/workspace/whisper-tiny/xf-data/
export HF_ENDPOINT=https://hf-mirror.com

nohup xinference-local --host 0.0.0.0 --port 9992 > /workspace/whisper-tiny/xinference-local.log 2>&1 &
# 如果出现连接错误，这个时间放长一点，主要是xinference-local启动没有完成
sleep 60

xinference launch --model-uid whisper-1 --model-name whisper-tiny --model-type audio --endpoint "http://127.0.0.1:9992"

xinference list --endpoint "http://127.0.0.1:9992"

deactivate
chmod +x /workspace/start.sh

很奇怪，执行第一遍会出错，第二次执行就可以了，肯定有问题，没时间找，不用shell是没问题的

六、dify添加模型

1、dify安装

AI大模型学习二十二、DifyV1.4.0安装并解决无法添加Ollama模型的问题，创建Agent应用和chatflow应用两种方法 通过MCP 插件接入高德地图MCP Server-优快云博客https://blog.youkuaiyun.com/jiangkp/article/details/147933924?spm=1011.2415.3001.5331

2、dify配置模型

上面部署的3个模型，配置在dify中

Dify上通过设置-》模型供应商-》Xorits Inference进行配置

参考：

AI大模型学习二十六、使用 Dify + awesome-digital-human-live2d + ollama + ChatTTS打造数字人-优快云博客https://blog.youkuaiyun.com/jiangkp/article/details/148043962?spm=1011.2415.3001.5331

添加qwen3 

 

添加whisper-tiny

添加ChatTTS

七、部署awesome-digital-human-live2d

AI大模型学习二十六、使用 Dify + awesome-digital-human-live2d + ollama + ChatTTS打造数字人-优快云博客https://blog.youkuaiyun.com/jiangkp/article/details/148043962?spm=1011.2415.3001.5331

八、dify打造数字人

1、创建应用

选择模型，上面刚装的qwen3 

2、配置支持TTS、SPEECH2TEXT

 

 3、测试一下

解决麦克风授权

 直接使用https://192.168.1.100访问即可，dify本身就支持https

语音直接对话，其实是先把语音转化为文字，然后再发出去

4、配置awesome-digital-human-live2d

 

测试了一下，可以运行但是很慢，是很慢很慢，还是使用ollama 部署的模型

#升级
wget https://github.com/ollama/ollama/releases/download/v0.7.1-rc2/ollama-linux-amd64.tgz
tar -xzvf ollama-linux-amd64.tgz
pkill -f ollama
cp bin/ollama /usr/local/bin/ollama
cp -rf lib/*  /usr/local/lib
chmod +x /usr/local/bin/ollama
 
# 执行
ollama run qwen3:14b

 配置ollama 模型

 

 测试一下，可以，速度很快

前面的think对，如何去掉，我们添加一段代码

import re
def main(answer: str) -> dict:
    cleaned_text = re.sub(r'<think[^>]*>.*?</think>', '', answer, flags=re.DOTALL)
    # 移除清理后可能在开头的多余换行符
    final_text = re.sub(r'^\n+', '', cleaned_text)
    return {
        "result": final_text,
    }

 测试一下，在dify里预览

 在awesome-digital-human里测试

5、最后一个问题，“浏览器获取麦克风失败！”

  • 配置 Insecure origins treated as secure
#谷歌浏览器中输入
chrome://flags/#unsafely-treat-insecure-origin-as-secure

Xinference 推理框架工具使用，openai 语音asr、tts接口调用案例
weixin_42357472的博客
12-03 674
参考：Xinference，一款 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理工具，类比ollama、vllm；但他支持语音、文字、图像、视频模型等推理。
学习实践-Whisper语音识别模型实战（部署+运行）
LZL2020LZL的博客
04-12 9008
OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。
Qwen3 全面发布：性能、部署与使用指南
2401_84495872的博客
05-04 1469
涵盖 0.6B、1.7B、4B、8B、14B、32B 稠密模型，以及 30B-A3B、235B-A22B 的专家混合（MoE）模型。：支持在复杂推理任务（思考模式）和高效闲聊任务（非思考模式）之间无缝切换。：在数学推理、代码生成、常识推理等方面，表现优于 Qwen2.5。：在多轮对话、创意写作、角色扮演和指令跟随等场景中更加自然流畅。：覆盖 100 多种语言和方言，具备强大的多语言指令理解与翻译能力。：在复杂 Agent 任务中展现出领先的开源性能，支持精准调用外部工具。
【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成文本，测试成功，还支持音频直接翻译成英文
freewebsys的专栏
02-01 2570
确实可以运行音频大模型。可以将音频文件转换成文本。可以做啥呢？可以直接录用转文字，或者做字幕。transcriptions 是音频转文本translations 可以直接将音频翻译成英文。使用large 模型就可以翻译：本列表列出香港航空的航点 > 翻译成：还集成了翻译模块。
Xinference部署Qwen3-Embedding-8B模型
最新发布
HelloQ的博客
07-04 453
访问 http://服务器ip:9996,即可进入xinference配置页面进行配置,配置内容跟上文接口配置一致。Qwen3-Embedding-8B模型需要Xinference版本为v1.7.0 历史版本不予支持。找到刚刚注册过的模型进行启动。
AI大模型学习二十六、使用 Dify + awesome-digital-human-live2d + ollama + ChatTTS打造数字人
浪淘沙jkp的专栏
05-18 2472
数字人（Digital Human）是通过人工智能、计算机图形学、语音合成和动作捕捉等技术创建的虚拟人物，具备高度拟人化的外观、语言、表情和动作，能够与人类进行交互。其核心特征包括拟人化外观、智能化和交互性，依赖自然语言处理、深度学习等技术实现对话、决策和情感表达。数字人在娱乐、教育、医疗、商业等领域广泛应用，如虚拟偶像、虚拟教师、智能客服等。核心技术包括人工智能驱动的对话与决策、计算机图形学构建的3D模型、语音合成和动作捕捉。通过ASR（语音识别）、AIAgent（数字人大脑）和TTS（文字转语音）等算法
dify虚拟数字人工作流草稿
jiayidapiaoliang的博客
05-17 247
Dify智能体平台源码二次开发笔记（8）- OpenAvatarChat数字人项目+dify智能体完美融合
05-09 2028
OpenAvatarChat数字人项目+dify智能体完美融合
Qwen3：重磅开源，重夺开源第一！（包含详细使用教程）
sherlockMa的博客
04-29 4039
Qwen3 代表了人类在通往通用人工智能（AGI）和超级人工智能（ASI）旅程中的一个重要里程碑。通过扩大预训练和强化学习的规模，之子实现了更高层次的智能。作者无缝集成了思考模式与非思考模式，为用户提供了灵活控制思考预算的能力。此外，作者还扩展了对多种语言的支持，帮助全球更多用户。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2711
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
近实时智能应答 2D 数字人搭建
亚马逊云科技专栏
08-20 1181
背景早在大语言模型如 GPT-3.5 等的兴起和被日渐广泛地采用之前，教育行业已经在 AI 辅助教学领域有过各种各样的尝试。在教育行业，人工智能技术的采用帮助教育行业更好地实现教学目标、提高教学质量、提高学习效率、提高学习体验、提高学习成果。例如，人工智能技术可以帮助教师更好地管理课堂、更好地识别学生的学习需求、更好地提供个性化的学习内容、更好地评估学生的学习成果、更好地提供学习支持。此外，人工智...
自己动手搭建“接入 AI Agent 的数字人”
tonyjump的博客
09-05 9361
数字人开源项目实战，使用Dify编排框架和Live2D驱动模型搭建智能数字人，实现智能对话并动态交互。
Langchain-Chatchat+Xinference集成部署
╰☆ぷ天然ルo槑ご的博客
08-06 2313
Langchain-Chatchat+Xinference集成部署安装环境：系统：Anolis OS 8.9python版本：Python 3.9.19Langchain-Chatchat版本：0.3.1.3Xinference版本：v0.13.3模型选择：部署内网IP：192.168.18.55安装目录：/data/langchain/chatchat_data。
深入探索Xorbits Inference (Xinference)：提升你的AI模型部署
qq_29929123的博客
10-05 888
Xinference是一款强大的工具，能够简化模型的部署和服务。本文提供了从安装、部署到集成LangChain的完整指南，希望能帮助您快速上手。
零基础构建 AI 大模型数字人：开启智能交互新时代
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
08-25 1675
是一个专注于模块化和扩展性的数字人技术框架，旨在帮助开发者快速搭建具备现代化前后端技术和人工智能服务的数字人平台。无论您是初学者还是经验丰富的开发者，都可以通过这个框架轻松打造出有温度、有灵魂的数字人。数字人技术正在以前所未有的速度发展，而项目为希望进入这一领域的开发者提供了一个绝佳的起点。借助这个框架，即便是没有太多经验的新手也能迅速上手，打造出既实用又有趣的数字人应用。我们期待看到您利用这项技术创造出的精彩作品！
部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！
热门推荐
2201_75499313的博客
03-14 1万+
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
windows基于cpu安装pytorch运行faster-whisper-large-v3实现语音转文字
诸葛小猿
02-12 920
windows基于cpu安装pytorch运行faster-whisper-large-v3实现语音转文字
Qwen3开源发布：Think Deeper, Act Faster！推理、部署、微调、MCP调用实战教程
zhangjiaofa的专栏
04-29 486
今天，通义千问Qwen团队正式开源推出 Qwen3，这是 Qwen 系列大型语言模型的最新成员。最新的Qwen3系列模型具备双模推理能力（深入思考/快速响应）、支持119种语言及方言，并强化了Agent功能与代码执行能力，全面满足复杂问题处理与全球化应用需求。其中，旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出极具竞争力的结果。
推理框架 Xinference和大模型部署（ChatGLM为例）
weixin_52514174的博客
07-04 9936
​ Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
xinference qwen2.5
01-17
### 关于 Xinference Qwen 2.5 的技术文档和资源 Xinference Qwen 2.5 是一款先进的大型语言模型，在多个领域展现出卓越性能。为了更好地理解和应用该模型，官方提供了详尽的技术文档和支持材料。 #### 官方文档和技术指南 - **安装与配置** - 文档涵盖了如何设置开发环境以及部署Qwen 2.5的具体步骤[^1]。 - **API 参考手册** - 提供了详细的 API 接口说明，帮助开发者快速集成并调用模型功能[^2]。 - **最佳实践案例研究** - 收录了一系列实际应用场景中的解决方案，展示了不同行业利用此模型取得的成功经验。 #### 社区支持与交流平台 - **论坛讨论区** - 用户可以在社区内提问解惑、分享心得体验，共同促进技术进步和发展。 - **GitHub 仓库** - 开源项目托管地址包含了完整的源码文件及相关工具链，方便有兴趣深入探究的朋友参与贡献。 ```python import requests def get_qwen_documentation(): url = "https://github.com/QwenLM/qwen" response = requests.get(url) if response.status_code == 200: print("成功访问到Qwen GitHub页面") else: print(f"请求失败,状态码:{response.status_code}") get_qwen_documentation() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值