xinference[Transformers]部署qwen2-7b（最后用的Transformers）

原创 已于 2024-09-08 14:08:09 修改 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能

于 2024-09-06 13:19:45 首次发布

机器环境python==3.11

cuda==11.8

#创建环境

conda create -n qwen2 python==3.11

#激活环境

conda activate qwen2

#安装 torch

pip install torch torchvision torchaudio

#查看cuda版本（注意nvidia-smi是查看最高支持版本，查看安装版本是nvcc -V）

nvcc -V

我的cuda版本是11.8

#安装xinference 

pip install "xinference[all]"

#部署xinference服务环境

#设置缓存路径

XINFERENCE_TRANSFORMERS_ENABLE_BATCHING=1 XINFERENCE_HOME=<设置xinference缓存的路径>
最低0.47元/天 解锁文章
开源模型应用落地-qwen模型小试-调用Qwen2-7B-Instruct-进阶篇（十二）
以微薄之力，予他人些许温暖.
06-11 4万+
Qwen2系列模型的新特性及使用方式
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
热门推荐
以微薄之力，予他人些许温暖.
08-10 4万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
安装Xinference手把手教学，以及各种报错解决。
Ultravioletrays的博客
12-30 1万+
Python 3.12 中移除了distutils，导致一些包（如setuptools）无法正常安装或执行。安装或升级setuptools可以解决大部分问题。升级 pip 并安装或重新安装setuptools是解决该问题的主要方法。2.8 重新再安装Xinference解决所有问题！！t=O83A文章提供了在Anaconda虚拟环境中安装GPU版本PyTorch的详细步骤，包括创建环境、确认CUDA版本、从PyTorch官网获取正确的pip安装命令，以及验证安装成功的技巧。
Xinference+Transformers+vLLM 部署qwen2.5-72B
bagepython的博客
01-15 2200
数值越大，占用显存越大，torch.OutOfMemoryError: [address=0.0.0.0:41165, pid=1393874] CUDA out of memory.可以通过界面最下方的vLLM参数设置gpu_memory_utilization，max_model_len。--model-engine vLLM：模型占用显存大小会受到"gpu_memory_utilization"参数影响，默认0.9。在下载模型的时候如果显示上面错误可能是因为huggingface源问题。
Xorbits Inference比Ollama更强大的模型部署与推理框架
weixin_44455388的博客
03-26 3147
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
使用XINFERENCE快速本地运行LLM
MoyiTech
07-29 1421
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。
【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！
freewebsys的专栏
04-02 2207
可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。然后就可以查看全部支持的模型进行启动。启动Xinference服务。
使用Xinference 在mac m2 上部署模型 Qwen 7B
Angus
05-01 4438
23款 mac pro M232G内存注意，花内存比较多一些。参数规模越大，需要的内存越多。我部署了一个7B的qwen就花了16G的内存空间我使用Xinference来部署模型。这里是Xinference的安装文档。
精选资源
qwen2.5-7b 部署
11-15
标题 "qwen2.5-7b 部署" 暗示本文将详细讨论关于名为 "qwen2.5-7b" 的软件或系统部署过程中的必要步骤和技术细节。从给定的文件信息来看，该部署过程涉及到一系列复杂的依赖关系和依赖文件的管理。部署所依赖的文件...
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
xinference部署Qwen2.5vl-32B
最新发布
m0_60304650的博客
07-03 1224
遇到的错误：如果直接安装肯定基本上会遇到llama-cpp-python这个库安装不下来的问题。
xinference部署qwen模型，跑langchain的工具调用示例时报错
qq_39600166的博客
10-12 1852
dict。
【Xinference】使用之【LLM模型】qwen2-instruct运行步骤及异常问题解决
Andy O`Connor的博客
09-24 914
Xinference使用之【LLM模型】qwen2-instruct运行步骤及异常问题解决
【Xinference】使用之【VLLM模型】qwen2-vl-instruct运行步骤及异常问题解决
Andy O`Connor的博客
09-26 5485
qwen2-vl-instruct模型运行异常处理：cannot import name 'Qwen2VLForConditionalGeneration' from 'transformers'
使用X inference下载部署小模型（qwen1.5）测试效果
Angus
05-03 1644
我的环境是mac m2 32G ，没办法用GPU。这是X inference的安装教程。这里是mac部署2B的教程。还有测试推理的效果，速度
[大模型]Qwen2-7B-Instruct Lora 微调
FL1623863129的博客
06-15 4378
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是4倍。
推理框架 Xinference和大模型部署（ChatGLM为例）
weixin_52514174的博客
07-04 1万+
​ Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
阿里这次放大招了：Qwen2.5-Omni-7B 是开源多模态的天花板？
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-27 2447
近年来，大模型从单模态文本生成向多模态认知跃迁已成业界共识。OpenAI 发布 GPT-4V 与 Gemini 1.5-Pro，Google DeepMind 推出 Flamingo 和 Gemini 系列，多模态技术逐渐成为 AI 实用化的关键路径。但多模态大模型往往意味着参数暴增、推理开销剧增、无法实时响应等现实问题。如何构建“轻量化、全模态、强泛化、可部署”的 AI 系统，一直是技术团队追求的目标。在这样的背景下，阿里通义团队开源发布的，无疑是一次重量级突破。
大模型笔记之-Xinference自定义注册模型
JunHowie的个人Blog
08-01 6336
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考"en"],"generate"],"4-bit","8-bit","none"],
mac部署qwen2.5-7b
03-28
好的，我现在需要帮助用户在Mac上部署Qwen2.5-7B模型。首先，我应该回顾一下用户提供的引用内容，里面提到了部署条件和安装前的准备，包括硬件和系统要求。用户使用的是Mac，所以需要特别关注MacOS的兼容性。 首先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值