lmdeploy 源码在windows本地编译

最新推荐文章于 2025-09-15 10:02:45 发布
原创 最新推荐文章于 2025-09-15 10:02:45 发布 · 522 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#软件工程

用git工具将lmdeploy 工程源码clone到本地

git clone https://github.com/InternLM/lmdeploy.git

刚开始我也不知道如何编译这个源码，在网上搜到了cmake .. -G "Visual Studio 17 2022" -A x64

提示缺少CUDA toolset，于是接下来安装cuda，在桌面点击右键->弹出右键菜单栏->显示更多选项->NCIDIA控制面板->系统信息

点击组件一栏

可以看到显示的cuda是12.8版本，然后到官网下载对应版本的toolkit

cuda-toolkit 下载网址

最低0.47元/天 解锁文章
LMDeploy Windows 平台最佳实践
qq_39967751的博客
06-05 1070
Windows 是全球范围内最流行的操作系统之一，许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理，许多办公软件、聊天应用等都可以受益于 LLM 的技术，为用户提供更智能、更个性化的服务。LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。环境配置LMDeploy Chat CLI 工具。
Mysql源码阅读 -- Windows10编译运行MySQL源码
github_35735591的博客
06-18 887
看了一些MySQL相关的书籍和文章，但感觉知识还不是自己的，打算看一看源码，本篇文章就从Windows10下编译运行MySQL源码开始
LMDeploy
qq_33382118的博客
06-29 483
LMDeploy 是一个高效、轻量化的工具库，专为部署大型语言模型（LLM）而设计。它支持模型量化、推理加速和多平台部署，适用于云端和边缘设备。核心功能包括模型压缩、高性能推理引擎集成（如 TensorRT），以及 RESTful API 服务化部署。
LMDeploy Windows部署指南：单卡环境快速搭建
最新发布
gitblog_00498的博客
09-15 1074
你是否曾因Windows系统缺乏官方支持而放弃部署高性能LLM（Large Language Model，大型语言模型）？作为占全球桌面端90%份额的操作系统，Windows在AI部署领域长期处于"二等公民"地位——多数开源项目优先支持Linux，导致开发者面临驱动适配难、编译报错多、性能损耗大等问题。LMDeploy 0.10.0版本正式解除这一限制，通过TurboMind引擎实现Windows...
复现五 LMDeploy 的量化和部署
cq99312254的博客
01-24 1088
但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包，PyTorch表示原生的 Transformer 包，DeepSpeed 表示使用了 DeepSpeed 作为推理框架。所以说，实际和前面的架构图是有区别的。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。上面两行命令分别展示了如何直接加载 Huggingface 的模型，第一条命令是加载使用 lmdeploy 量化的版本，第二条命令是加载其他 LLM 模型。
【LMDeploy系列】模型部署与量化完全教程
艰难困苦，玉汝于成。
01-21 8299
LMDeploy 是一个用于压缩、部署、服务 LLM 的工具包，由 MMRazor 和 MMDeploy 团队开发。
windows下编译好的snort源码
04-04
在Windows环境下编译并运行Snort源码，对于网络安全专业人士来说是一项非常实用的技术。以下是对"windows下编译好的snort源码"的详细解释： 首先，了解Snort的基本工作原理至关重要。Snort通过分析网络数据包，应用...
Windows编译Mysql5.7源码
小白的博客
06-17 939
Win10系统编译Mysql5.7源码教程
在Windows上编译Pytorch 源码
qq_43051923的博客
09-03 6677
Pytorch 源码编译 Windows GPU编译工具和第三方库1.1 Visual studio 20191.2 Cuda toolkit1.3 cudnn1.4 mkl1.5 magma1.6 sccache1.7 安装Ananconda 或者 miniconda1.8 安装python 包设置环境变量开始编译编译Pytorch wheel只编译libtorch 编译工具和第三方库 1.1 Visual studio 2019 不过最新的VS 2019有点问题，所以需要装
opencv windows 源码编译工程， qt mingw 编译， 内含编译好的安装目录
08-03
opencv windows 源码编译工程， qt mingw 编译， 内含编译好的安装目录
第五课-LMDeploy 的量化和部署
qq_46016871的博客
02-21 6387
首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
【记录一下】LMDeploy推理大模型学习笔记及遇到的问题
风信子的博客
03-22 1723
LMDeploy 是一个用于大型语言模型（LLMs）和视觉-语言模型（VLMs）压缩、部署和服务的 Python 库。其核心推理引擎包括 TurboMind 引擎和 PyTorch 引擎。前者由 C++ 和 CUDA 开发，致力于推理性能的优化，而后者纯 Python 开发，旨在降低开发者的门槛。LMDeploy 支持在 Linux 和 Windows 平台上部署 LLMs 和 VLMs，最低要求 CUDA 版本为 11.3。
书生·浦语大模型实战营笔记-第五节 LMDeploy大模型量化部署实践
qq_46212981的博客
01-15 1292
本文介绍大模型部署的背景知识，并介绍LMDeploy工具，并实现一个部署demoLLM在英伟达设备上的部署方案，包含模型轻量化、推理和服务推理性能：静态（固定batch和输出输入的token数目）：小batch下性能是fp16的两倍，batch越大加速效果越不明显动态（输入输出不定长）：精度优于vLLM框架本文主要介绍了模型量化和LMDeploy的基本应用，并实现了几个部署的demo。
（第三期）书生大模型实战营——LMDeploy量化部署进阶实践
a_blade_of_grass的博客
08-12 1165
教程原文在。
必知！大模型时代超常用的训练、微调、推理、部署框架
2401_85373691的博客
02-21 1354
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
Ollama、vLLM和LMDeploy这三款主流大模型部署框架
沐雪架构师
03-24 1280
LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。
LMDeploy 量化部署 LLM-VLM 实践
2401_83218582的博客
04-15 613
参考文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md作业一：配置 LMDeploy 运行环境使用命令：studio-conda -t lmdeploy -o pytorch-2.1.2由于环境依赖项存在torch，下载过程比较缓慢，最终结果如下图：安装deployTransformer来直接运行InternLM2-Chat-1.8B模型：运行transformer.py文件中的内容，运行得到对话：进阶作业：设置KV C
丝滑小连招，部署 Vision Language 模型
2402_82411485的博客
05-30 862
LMDeploy 自 v0.4.2 开始，支持 VL 模型 4bit 量化及推理部署。包括：llavainternvlqwen-vlminigeminiyi-vlLMDeploy 项目链接（文末点击阅读原文可直达，觉得好有欢迎点亮小星星）以上模型，除了 InternLM-XComposer2 外均采用 Llama 模型结构作为语言模块，而视觉模块则各有不同。
在Windows上使用VS2012编译ADB源码的指南
要在Windows平台上使用Visual Studio 2012（VS2012）编译ADB源码，需要进行一系列的配置和编译步骤： 1. **系统要求**：确保Windows系统安装了适用于Windows的ADB环境。 2. **下载ADB源码**：从Android官方网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值