- 博客(31)
- 资源 (7)
- 收藏
- 关注
原创 llm-compressor 进阶指南:那些藏在源码深处的高灵活性参数
是 Neural Magic(现在归属 vLLM 项目)维护的大模型量化工具,底层依赖提供量化基元。简洁优雅,但真正在做实验时你会发现:怎么换 observer?怎么做 KV cache 量化?怎么省显存?怎么控制存储格式?这些在文档里几乎找不到。本文把oneshot五个层面的隐藏参数全部梳理一遍,所有信息直接来自源码。隐藏度参数价值⭐⭐⭐⭐⭐observer精度提升关键⭐⭐⭐⭐⭐大模型显存救星⭐⭐⭐⭐⭐长上下文性能⭐⭐⭐⭐存储/兼容性控制⭐⭐⭐⭐actorderGPTQ 精度⭐⭐⭐⭐。
2026-06-08 15:10:52
336
原创 llm-compressor的扩展量化方案
在上一篇文章中介绍了一个简单的添加自定义量化方案的方法, 感觉还是不够方便, 看了下文档,现在介绍文档中的扩展量化方案官方文档中直接通过config_groups参数化配置QuantizationModifier,达到自由扩展量化组合的效果,比之前我们介绍的方式还要简单方便。
2026-05-26 16:18:03
43
原创 llm-compressor添加新量化策略 -- 邪修方法
本篇文章主要介绍一种非常简单的方式通过搭积木的策略在llm-compressor中快速组合出自定义的量化scheme
2026-05-23 16:17:38
344
原创 自定义 INT4 Block 量化:从 llm-compressor 到 vLLM 完整讲解
llm-compressor 内置的+ Preset(如W4A16)适合框架已经实现的量化策略。本示例的不在 stock 路径里,需要自己完成:分块、求 scale、fake-quant用写出为每层挂上),以便写出正确的因此本仓库只讲 Modifier 路线:算法与磁盘布局都在里写清楚,并与 vLLM 侧字段命名对齐。
2026-05-22 18:36:13
442
原创 llm-compressor 普通量化调用链分析
num_bits=4, # 4-bit 量化type=QuantizationType.INT, # 整数类型量化strategy=QuantizationStrategy.GROUP, # group-wise 策略group_size=128, # 每 128 个元素一组, 共享 scale/zpsymmetric=True, # 对称量化 (zero_point 固定为 0)dynamic=False, # 静态量化 (scale 预先计算, 不依赖输入)),
2026-05-21 18:58:13
403
原创 DeepSeek之MLA性能分析
网上关于MLA原理的文章已经很多了,这里就不在进行重复分析,本篇文章主要是从实际代码的角度分析一下MLA的压缩kvcache的实现方式和原始的kvcache计算之间性能差异。
2025-09-08 16:58:13
581
原创 python快速玩转二维码使用教程,一学就会的完整技巧
本文介绍了使用Python操作二维码和条形码的完整指南,从基础概念到实战应用。主要内容包括:二维码与条形码的基础知识、环境配置(Python 3.7+及依赖库安装)、二维码生成(基础、彩色、带Logo及批量生成)、条形码生成(CODE128格式)等核心功能实现。文章提供了详细的代码示例和参数说明,如二维码版本、纠错级别、尺寸调整等技巧,并特别强调了带Logo二维码生成时的注意事项。通过学习本指南,开发者可以快速掌握Python处理二维码和条形码的关键技术,适用于商品标识、支付系统、物流管理等多种应用场景。
2025-08-21 14:17:53
1675
原创 2022最新RoLabelImg安装教程(windows)
2022最新最详细旋转框标注工具RoLabelImg Windows安装教程,不走弯路,一次成功。
2022-05-31 10:53:59
2428
3
原创 windows安装pycocotools记录
1. 使用命令pip install pycocotools安装时:提示:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools缺少C++14以上的编译器,根据提示给出的链接下载Build Tools,选择第一个C++桌面开发,默认安装就好,稍有点大 但是.
2022-05-18 09:44:42
2288
原创 cuda的一些基本操作
1. 创建 / 删除符号链接创建 ln -s sourcedir symbeldir删除 sudo unlink symbeldir2. 删除pip安装缓存sudo rm -r ~/.cache/pip
2022-05-11 20:52:27
276
原创 Ubuntu18.04 install cuda10.2
STEP 1.To make sure you are already installed the proprely Nvidia Driver, or clear all the divers and reinstall, using this instrution the clear:sudo apt-get remove --purge nvidia-*Then check which drivers you can install on you computer:ubuntu-dri
2021-12-01 17:35:33
911
原创 yolo坐标归一化
像素坐标转yolo输入左上角、右下角坐标和图像宽、高 :xmin, ymin, xmax, ymax, img_w, img_h 输出归一化后yolo坐标格式 :中心点坐标,宽、高:x, y, w1, h1def coordinates2yolo(xmin,ymin,xmax,ymax,img_w,img_h): # 保留6位小数 x = round((xmin+xmax)/(2.0*img_w),6) y = round((ymin+y...
2021-11-25 17:01:29
8019
原创 Pycharm下使用Gitee教程
1. 电脑安装Git客户端2. Pycharm安装Gitee3. 添加个人账号4.个人开发4.1 在码云上创建个人仓库, 复制仓库地址4.2 在Pycharm从个人仓库克隆到本地4.3 代码提交 4.3.1 第一步: Commit 4.3.2 第二步: Push 4.3.3 若在本地仓库...
2021-10-04 17:28:08
9234
原创 腾讯云服务器远程访问django设置
1.python环境中无法使用opencv,提示缺少DLL文件;解决办法:在服务器管理器中添加角色和功能中添加桌面体验,安装即可;2.django项目运行的IP地址腾讯云的服务器有两个IP(公网IP和内网IP),公网IP用于网络中的其他主机对服务器的访问,内网IP(也就是本机ipv4地址)用于访问购买的其他服务器节点。django项目应该运行在内网IP上,如:python manage.py runserver 10.1.8.6:8000或者python manage.py runserve
2021-08-25 17:31:59
751
原创 学习记录---为什么可以进行SQL注入
对SQL注入简单理解对于大部分网站都存在与数据库的一个交互过程,多是带有输入框的地方,URL地址栏、搜索框、用户登录等。都是通过提取输入框中数据然后通过相应的SQL语句再相应的数据库中进行核对查询,比如用户登录:select * from user where username='用户名' and passward='密码';当语句为真时表示输入正确,也就是登录成功。如果网站未对输入内容进...
2020-04-09 17:34:53
255
几何画板Sketchpad5.0
2022-06-01
vc_redist.x64.exe
2022-05-30
Microsoft Windows SDK for Windows 7
2022-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅