LMDeploy 量化部署 LLM-VLM 实践

已于 2024-04-15 21:41:42 修改
阅读量506 收藏 5
点赞数 3
文章标签： 笔记 python
于 2024-04-15 17:54:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_83218582/article/details/137749645
版权

参考文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md

作业一：1.配置 LMDeploy 运行环境

InternStudio开发机创建conda环境
由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。
打开命令行终端，创建一个名为lmdeploy的环境：
studio-conda -t lmdeploy -o pytorch-2.1.2

接下来，激活刚刚创建的虚拟环境。

conda activate lmdeploy

安装0.3.0版本的lmdeploy。

pip install lmdeploy[all]==0.3.0

等待安装就可以了：

2.LMDeploy模型对话(chat)

最低0.47元/天 解锁文章
windows下玩转vllm：vllm装好了，怎么使用？
xiezhipu的博客
03-03 945
上回说道，通过wsl，vllm是可以跑起来的。便可以启动一个vllm的服务。显示完表示，我们的服务已经启动完了。
PC本地部署vllm gemma-2b
yi_xiansen的博客
06-03 4449
普通电脑配置本地运行小参数量大模型，本地部署LLM
LMDeploy Windows 平台最佳实践
qq_39967751的博客
06-05 902
Windows 是全球范围内最流行的操作系统之一，许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理，许多办公软件、聊天应用等都可以受益于 LLM 的技术，为用户提供更智能、更个性化的服务。LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。环境配置LMDeploy Chat CLI 工具。
windows本地部署vllm,运行deepseek大模型
zxhy0123的博客
02-28 6465
windows本地部署vllm,加载大模型
复现五 LMDeploy 的量化和部署
cq99312254的博客
01-24 1015
但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包，PyTorch表示原生的 Transformer 包，DeepSpeed 表示使用了 DeepSpeed 作为推理框架。所以说，实际和前面的架构图是有区别的。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。上面两行命令分别展示了如何直接加载 Huggingface 的模型，第一条命令是加载使用 lmdeploy 量化的版本，第二条命令是加载其他 LLM 模型。
Windows离线部署vllm
java_Lrui的博客
07-25 6260
由于这个包比较大，在浏览器里点击下载链接右键，提取下载地址，打开迅雷或者其他第三方下载工具，新建下载任务，由于迅雷有国内的CDN加速，一般下载可以跑满带宽。原来需要8个小时的任务，现在几分钟就好了。重启电脑（注意：需要开启 适用于 Liunx 的 Windows 子系统 的设置 才重新启动计算机 如果已开启，则不需要）的 Windows 子系统 的设置（如果未开启，开启之后需要重启电脑）(对于64位系统，版本1903或更高，版本18362或更高。在cmd命令界面查看是否安装成功，出现跟截图一样，则已成功。
vllm的使用方式，入门教程
kcarly的专栏
02-27 3016
vLLM是一个强大且易于使用的推理框架，适用于多种场景。通过上述步骤，您可以快速上手并开始使用vLLM进行大语言模型推理。如果遇到问题，可以参考官方文档或社区资源进行解决。全参数微调（Full-Parameter Fine-Tuning）vLLM支持对预训练模型进行全参数微调，以适应特定任务或数据集。这种方法通过调整所有模型参数来优化性能，适用于需要大量数据和计算资源的场景。LoRA是一种高效、快速且参数效率高的微调方法，特别适用于资源有限的环境，如移动应用或边缘设备。
书生·浦语--（五）LMDeploy 量化部署 LLM-VLM 实践（基础作业）
ppyyds的博客
04-23 941
W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。两种不同的设置反应在不同的显存使用上，对于--cache-max-entry-count = 0.01来说基本不使用额外显存存储KV参数，显存的消耗跟载入一个1.8B模型的参数量基本相同，但此时推理速度大大降低。LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。
LMDeploy 量化部署 LLM&VLM实战--全部作业
taotao_zhang1的博客
04-12 343
一、基础作业部分 配置lmdeploy运行环境，下载internlm-chat-1.8b模型 以命令行方式与模型对话二、进阶作业 设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做） 以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。（优秀学员） 使用W4A1
LMDeploy 量化部署 LLM&VLM 实践
zhouyanzhong18的博客
04-12 754
3.以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。4.使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。2.设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。5.使用 LMDeploy 运行视觉多模态大模型 llava gradio demo （优秀学员必做）
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记
weixin_59512778的博客
04-16 857
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。
【总结篇】LLM推理环境安装部署全指南
flymyd的博客
02-25 4548
本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。
Windows本地部署（DeepSeek-R1-Distill-Qwen-1.5B）模型
qq1164014750
01-26 1万+
登录 WSL 后，根据 NVIDIA 下载页面的说明安装 CUDA 11.8，依次执行以下命令：也可以参考官方说明：https://developer.nvidia.com/cuda-downloads?https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 国内 modelscope。
window基于wsl部署vllm流程及踩坑经历（包含cuda toolkit、nvcc版本问题）
a66920164的博客
02-28 4091
本文详述在Windows 11通过WSL搭建vLLM开发环境的流程。核心要求vLLM、PyTorch与CUDA三者版本必须一致（如CUDA 12.1）。重点解决CUDA版本冲突问题：通过修改环境变量路径、重建软链接确保nvcc版本统一。安装时需手动指定PyTorch的CUDA 12.1版本，并正确部署cuDNN库。最终通过强制安装cu121版PyTorch解决"RuntimeError: named symbol not found"报错，成功运行vLLM服务。
2、TENSOR ATTRIBUTES
u013049912的博客
06-22 999
每个 torch.Tensor 都有一个 torch.dtype、torch.device 和 torch.layout。 torch.dtype CLASStorch.dtype torch.dtype 是表示 torch.Tensor 的数据类型的对象。 PyTorch 有十二种不同的数据类型： Data type dtype Legacy Constructors 32-bit floating point
在Win11上部署大模型推理加速工具vLLM
热门推荐
培根芝士的专栏
04-08 1万+
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
吴恩达机器学习笔记：特征与多项式回归
projectfailed的博客
05-15 487
注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。通常我们需要先观察数据然后再决定准备尝试怎样的模型。，从而将模型转化为线性回归模型。
【Linux笔记】——Linux线程封装
最新发布
GGDxianv的博客
05-17 717
本文介绍了在Linux环境下基于pthread库的线程封装类，旨在简化多线程编程的复杂性。该封装类提供了线程的创建、启动、终止、分离和回收等功能。核心功能包括通过Start()方法创建并启动线程，Stop()方法终止线程，Detach()方法将线程设置为分离状态，以及Join()方法回收线程资源。封装类通过静态成员函数routine和this指针的巧妙结合，解决了线程函数与类成员函数的兼容性问题。源码展示了线程类的实现细节，包括线程ID、状态标志、线程名称和回调函数的封装。该封装类为多线程编程提供了简洁高效
llm-factory部署服务
01-18
### 部署 LLaMA-Factory 服务 为了成功部署 LLaMA-Factory 服务，需遵循一系列具体的配置和环境准备流程。此过程不仅涉及软件包的安装，还包括必要的硬件资源分配以及网络设置。 #### 准备工作 在开始之前，确认已准备好满足最低要求的计算资源，包括但不限于 GPU 支持、足够的内存空间及稳定的互联网连接。此外，建议创建一个新的虚拟环境来隔离项目依赖项[^3]。 ```bash conda create -n llama-env python=3.8 conda activate llama-env ``` #### 安装依赖库 根据官方文档指示，先获取最新版本的源码仓库，并依照给定的要求安装所需的 Python 库和其他工具链： ```bash git clone https://github.com/your-repo/llama-factory.git cd llama-factory pip install -r requirements.txt ``` #### 设置运行参数 对于具体的应用场景，可能需要调整一些默认配置文件中的选项，比如批量大小(batch size)、学习率(learning rate)等超参设定。这些都可以通过修改 `config.yaml` 文件完成。 #### 启动服务端口 最后一步是启动 Web API 或者命令行界面的服务进程，这通常可以通过执行脚本来简化操作: ```bash python app.py --host 0.0.0.0 --port 8080 ``` 上述命令将会使应用程序监听于指定 IP 地址与端口号上，从而允许外部访问[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值