LMDeploy Windows 平台最佳实践

最新推荐文章于 2025-06-06 09:22:35 发布
最新推荐文章于 2025-06-06 09:22:35 发布
阅读量995 收藏 8
点赞数 25
CC 4.0 BY-SA版权
文章标签： windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ShushengPuyu/article/details/140930100

Windows 是全球范围内最流行的操作系统之一，许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理，许多办公软件、聊天应用等都可以受益于 LLM 的技术，为用户提供更智能、更个性化的服务。

LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。

目录

环境配置

安装显卡驱动 & CUDA Toolkit

安装 LMDeploy

下载模型

命令行 CLI

pipeline

服务化

服务端：

客户端：

FAQ

LMDeploy 项目链接：https://github.com/InternLM/lmdeploy

 

环境配置

安装显卡驱动 & CUDA Toolkit

下载链接：

https://developer.nvidia.com/cuda-12-1-1-download-archive?target_os=Windows&target_arch=x86_64

成功安装后，打开 Powershell 后，环境变量 CUDA_PATH 不为空。 

 

安装 LMDeploy


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
【第5节】LMDeploy 大模型量化部署实践

				
			

			

				

					熊猫小妖的AI世界
				

				

					04-24
					
					1921
					
				

			

		

		

			
				
视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）

			
		

	



                

            
              



	

		

			

				
					
LMDeploy本地部署轻松玩转DeepSeek

				
			

			

				

					weixin_41688410的博客
				

				

					01-30
					
					3956
					
				

			

		

		

			
				
本文主要介绍了LMDeploy 是如何本地部署大模型，并且以deepseek为例，从环境搭建，模型选择，推理，部署，量化全流程保姆级从0到1详细记录了每个过程。它是一个专为大语言（LLMs）和视觉-语言模型（VLMs）设计的高效部署工具箱，可以帮我们轻松玩转各种大模型，让我们对于大模型应用游刃有余，如鱼得水，挥洒自如。

			
		

	



              


  
              

                


	

		

			

				
					
大模型部署指南之 LMDeploy 篇：从模型压缩到生产级API的完整武器库

				
			

			

				

					冷不丁
				

				

					05-10
					
					1376
					
				

			

		

		

			
				
LMDeploy 是由 MMDeploy 和 MMRazor 团队开发的全套轻量化、部署和服务解决方案，专为本地化私有部署设计。其核心优势包括极致性能优化、生产级部署、多格式兼容和开放生态。LMDeploy 支持从模型量化到生产级API服务的全流程优化，特别适合需要低延迟、高并发的企业应用。通过内置的量化工具和高并发管理，LMDeploy 显著提升了推理速度并降低了显存占用，使得在消费级显卡上也能流畅运行大模型。此外，LMDeploy 提供了开箱即用的部署工具，简化了从模型转换到服务部署的流程，大幅缩短了部

			
		

	





	

		

			

				
					
8G 显存玩转书生大模型 Demo

				
			

			

				

					f_ckhell的博客
				

				

					07-27
					
					308
					
				

			

		

		

			
				
5.使用 Streamlit 部署 InternLM2-Chat-1.8B 模型。在download_mini.py中写入下面代码。运行成功，输入个“你好，介绍下你自己”运行download_mini.py。向cli_demo.py写入内容。2.创建cli_demo.py。创建文件夹并写入下载代码。

			
		

	



		

			
		



	

		

			

				
					
InternLM/LMDeploy 大模型推理与部署快速入门指南

					
最新发布

				
			

			

				

					gitblog_01052的博客
				

				

					06-06
					
					376
					
				

			

		

		

			
				
InternLM/LMDeploy 大模型推理与部署快速入门指南
前言
LMDeploy 是一个高效的大语言模型(LLM)和视觉语言模型(VLM)推理与部署工具包，由InternLM团队开发。它提供了从模型量化到服务部署的全套解决方案，能够帮助开发者快速将大模型能力集成到实际应用中。本文将详细介绍如何使用LMDeploy进行模型推理和服务部署。
环境准备
在开始之前，请确保已经完成LMDeploy...

			
		

	





	

		

			

				
					
LMDeploy 量化 部署 LLM&VLM 实践

				
			

			

				

					qq_42137576的博客
				

				

					05-23
					
					1339
					
				

			

		

		

			
				
LMDeploy 量化部署 LLM&VLM 实践

			
		

	





	

		

			

				
					
LMDeploy 量化部署 LLM 实践+进阶

				
			

			

				

					nlpx2000的博客
				

				

					04-11
					
					1350
					
				

			

		

		

			
				
pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。internlm2-chat-1_8B模型量化部署与llava多模态模型llava-v1.6-7b部署实践。

			
		

	





	

		

			

				
					
LMDeploy 的介绍与部署

				
			

			

				

					Orkeii的博客
				

				

					04-24
					
					1874
					
				

			

		

		

			
				
LMDeploy的部署与模型介绍


			
		

	





	

		

			

				
					
LMDeploy量化部署LLM&VLM

				
			

			

				

					weixin_45924641的博客
				

				

					04-18
					
					2661
					
				

			

		

		

			
				
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa

			
		

	





	

		

			

				
					
LMDeploy量化部署进阶实践

				
			

			

				

					quentinrt的博客
				

				

					12-28
					
					1920
					
				

			

		

		

			
				
参考文档：Tutorial/docs/L2/LMDeploy at camp4 · InternLM/Tutorialhttps://github.com/InternLM/Tutorial/tree/camp4/docs/L2/LMDeploy在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。




1.2 InternStudio环境获取模型

为方便文件管理，我们需要一个存放模型

			
		

	





	

		

			

				
					
LMDeploy 量化部署 LLM-VLM 实践

				
			

			

				

					2401_83218582的博客
				

				

					04-15
					
					531
					
				

			

		

		

			
				
参考文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md作业一：配置 LMDeploy 运行环境使用命令：studio-conda -t lmdeploy -o pytorch-2.1.2由于环境依赖项存在torch，下载过程比较缓慢，最终结果如下图：安装deployTransformer来直接运行InternLM2-Chat-1.8B模型：运行transformer.py文件中的内容，运行得到对话：进阶作业：设置KV C

			
		

	





	

		

			

				
					
LMDeploy 量化部署 LLM 实践

				
			

			

				

					weixin_44497664的博客
				

				

					04-26
					
					483
					
				

			

		

		

			
				
LMdeploy 有两个功能：量化与部署。量化加快推理速度减少现存占用，部署可以用客户端、网页以及Api迅速调用方便开发者使用。

			
		

	





	

		

			

				
					
LMDeploy 大模型量化部署实践

				
			

			

				

					zhjunqin的博客
				

				

					01-14
					
					1870
					
				

			

		

		

			
				
下图中，左边主要对比 LMDeploy 自身在量化前后的性能；右边主要对比 vLLM 和 LMDeploy 的性能对比。量化后，显存占用量显著减少，其中包括权重和 KV Cache。由于 GPU 的计算需要将权重从 GPU 主存 -> GPU 共享内存，因此量化显著减少了数据的传输量，提高了整体效率。AWQ 算法全称：Activation-aware Weight Quantization。

			
		

	





	

		

			

				
					
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践

				
			

			

				

					DrFlown的博客
				

				

					04-22
					
					2276
					
				

			

		

		

			
				
根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。​		TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。

			
		

	





	

		

			

				
					
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记

				
			

			

				

					weixin_59512778的博客
				

				

					04-16
					
					866
					
				

			

		

		

			
				
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。

			
		

	





	

		

			

				
					
LMDeploy 大模型推理框架介绍和实践

				
			

			

				

					全世界的博客
				

				

					12-24
					
					1767
					
				

			

		

		

			
				
LMDeploy 是一个专为大语言模型（LLMs）和视觉-语言模型（VLMs）设计的高效且友好的部署工具箱。它集成了多种先进的技术和功能，旨在为用户提供卓越的推理性能、可靠的量化支持、便捷的服务部署以及卓越的兼容性。高效的推理：通过持续的批处理机制，LMDeploy 能够在推理过程中动态调整批处理大小，从而最大化硬件资源的利用率，提升推理速度。：LMDeploy 引入了块级键值缓存（Blocked K/V Cache），通过将注意力机制中的键值对进行分块存储和计算，显著减少了内存占用和计算开销。

			
		

	





	

		

			

				
					
[书生实战营] LMDeploy 量化部署进阶实践

				
			

			

				

					m0_52468897的博客
				

				

					08-16
					
					1743
					
				

			

		

		

			
				
对于权重，LMDeploy采取的是基于AWQ算法的，W4A16的量化方式，即对weight权重进行4bit量化，activation激活值(y=wx+b中的x)不做量化。实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。随着模型变得越来越大，需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。

			
		

	





	

		

			

				
					
LMDeploy 量化部署实践

				
			

			

				

					weixin_45963030的博客
				

				

					11-27
					
					654
					
				

			

		

		

			
				
参考。

			
		

	





	

		

			

				
					
lmdeploy

				
			

			

				

					06-04
				

			

		

		

			
				
### LMDeploy 安装指南与使用教程

LMDeploy 是一个用于部署大语言模型（LLM）的工具，旨在简化模型服务化的过程。以下是关于 LMDeploy 的安装和使用的详细信息。

#### 环境准备
在开始安装之前，请确保系统已安装以下依赖项：
- Python 3.7 或更高版本[^1]
- CMake（建议版本为 3.16 或更高）
- GCC（建议版本为 7 或更高）

可以通过以下命令检查 Python 版本：
```bash
python --version
```

如果需要安装或升级 Python，请参考官方文档或使用包管理器进行安装。

#### 安装 LMDeploy
LMDeploy 的安装可以通过源代码编译完成。以下是具体步骤：

1. **克隆仓库**  
   使用 `git` 克隆 LMDeploy 的官方仓库：
   ```bash
   git clone https://github.com/your-repo/lmdeploy.git
   cd lmdeploy
   ```

2. **创建配置文件**  
   在源目录中创建 `TutorialConfig.h.in` 文件，并添加以下内容：
   ```cpp
   // the configured options and settings for Tutorial
   #define Tutorial_VERSION_MAJOR @Tutorial_VERSION_MAJOR@
   #define Tutorial_VERSION_MINOR @Tutorial_VERSION_MINOR@
   ```
   这一步是为了定义版本信息，便于后续编译过程中的配置。

3. **安装依赖项**  
   使用 `pip` 安装必要的 Python 包：
   ```bash
   pip install -r requirements.txt
   ```

4. **编译项目**  
   使用 CMake 编译 LMDeploy：
   ```bash
   mkdir build && cd build
   cmake ..
   make -j$(nproc)
   ```

5. **验证安装**  
   完成编译后，可以运行测试脚本来验证安装是否成功：
   ```bash
   python tests/test_lmdeploy.py
   ```

#### 使用教程
LMDeploy 提供了多种功能，包括模型加载、推理服务化等。以下是基本的使用示例：

1. **加载模型**  
   使用以下代码加载预训练模型：
   ```python
   from lmdeploy import Model

   model = Model("path/to/model")
   output = model.generate("Hello, world!")
   print(output)
   ```

2. **服务化部署**  
   如果需要将模型部署为 RESTful API 服务，可以使用内置的 HTTP 服务器：
   ```python
   from lmdeploy.server import start_server

   start_server("path/to/model", host="0.0.0.0", port=8080)
   ```

#### 常见问题解决
- **CMake 配置失败**：检查是否安装了正确的 CMake 和 GCC 版本。
- **Python 包缺失**：确保所有依赖项均已正确安装。
- **模型加载失败**：确认模型路径是否正确，并检查模型文件完整性。

---



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值