- 博客(21)
- 资源 (3)
- 收藏
- 关注
原创 修复 vLLM 0.10.0 使用 flashinfer-python 最新版本还被检测说FLASH_INFER 版本 < 0.2.3 问题
找到 python 虚拟环境中安装的 vllm v1 目录中的 ~/.venv/lib64/python3.12/site-packages/vllm/v1/sample/sampler.py 目录。Sampler 类中有个 从 TopKTopPSampler 类来的 self.topk_topp_sampler 的成员变量。
2025-09-19 11:08:32
421
原创 PEFT QLora Deepspeed Zero Stage 3 Offload Trainning
本文介绍了一个使用DeepSpeed Zero Stage 3和QLoRA进行模型微调的完整配置方案。该方案通过accelerate框架实现GPU计算和CPU存储的自动设备映射,主要特点包括: 采用DeepSpeed Zero Stage 3优化策略,将优化器和参数卸载到CPU内存,支持大模型训练 使用4位量化和QLoRA技术降低显存需求 配置了NCCL网络优化参数提升多GPU训练效率 包含完整的训练脚本、DeepSpeed配置文件和实用工具代码 支持Qwen3和Zephyr等不同模型的聊天模板格式 关键配
2025-09-15 18:12:06
302
原创 Qwen3-Coder-30B-A3B-Instruct AWQ 量化
本文介绍了使用AWQ方法对Qwen3-Coder-30B-A3B-Instruct模型进行4-bit量化的完整流程。首先配置了内存和日志,加载模型和tokenizer。然后准备校准数据集,对256个样本进行预处理使其适配模型格式。通过llmcompressor工具配置AWQ量化方案(W4A16),忽略MoE特定层后执行量化。量化后进行了生成测试验证效果,最后将模型分片保存为4GB块,并检查分片情况。整个过程包含内存管理、数据预处理、量化执行和结果验证等关键步骤。
2025-08-26 18:36:23
364
原创 使用 gptqmodel 量化 Qwen3-Coder-30B-A3B-Instruct
这篇文章介绍了一个用于量化Qwen3-Coder-30B-A3B-Instruct模型的Python脚本。主要内容包括: 环境变量设置:配置CUDA设备、显存优化等参数 量化配置:设置4-bit量化、128组大小等量化参数 数据处理:从本地parquet文件加载和预处理校准数据集 Tokenization:使用AutoTokenizer对代码文本进行标记化处理 内存管理:设置GPU和CPU的内存分配限制 该脚本实现了对大型语言模型的GPTQ量化过程,包括数据准备、量化配置和GPU资源管理等关键步骤。
2025-08-06 22:20:22
1999
原创 uv 常用指令
摘要:UV是一款比Anaconda快几十倍的Python包管理工具。它支持快速安装、更新和清理pip包,能创建并管理虚拟环境,支持从requirements.txt导入依赖。常用命令包括uv init创建项目、uv venv创建虚拟环境、uv sync同步依赖、uv add/remove管理包等。UV还支持分组安装(开发/生产环境)、版本约束条件,并可通过uv pip list查看所有安装包。相比传统pip,UV提供了更快的包管理速度和更便捷的项目依赖管理功能。
2025-08-01 11:51:36
639
原创 Python-视频处理-视频转字符动画(图像处理 cv2 moviepy Image)
【代码】Python-视频处理-视频转字符动画(图像处理 cv2 moviepy Image)
2023-05-16 15:59:16
911
原创 Windows 7 下安装 python 3.9 及以上版本的方法(Anaconda 中的 python 版本还是 3.8 或以下 并且升级不了)
Windows 7 下安装 python 3.9 及以上版本的方法(Anaconda 中的 python 版本还是 3.8 或以下 并且升级不了)
2023-03-04 16:49:53
21571
9
原创 使用 python rubymarshal 解析 .rvdata 数据文件
使用 python rubymarshal 解析 .rvdata 数据文件
2022-10-30 17:27:21
3504
原创 C语言四种swap函数
C语言四种swap函数/* * 实参传形参时, * 形参临时复制实参的存储空间, * 在临时分配的空间对a,b进行改变, * 函数执行完成后,形参分配的空间自动释放, * 最终,形参所做的任何变化对实参无影响, * a与b的值换交换不成功 */void swap(int a,int b) { int temp; temp = a; a = b; b = temp;} //对形参操作/* * 实参传引用型形参时, * 传入实参的地址, * 对形参所做的变化是对
2020-10-29 19:33:39
15873
10
原创 招聘网站Recruitment的开发
Recruitment主要有用户注册、用户登录、个人用户、企业用户、管理员五大功能模块。1.用户注册功能模块:(1)个人用户注册功能:个人用户注册时,选择用户类型为个人用户,需要输入正确的验证码,还要通过各项数据检查。(2)企业用户注册功能:企业用户注册时,选择用户类型为企业用户,需要输入正确的验证码,还要通过各项数据检查。2.用户登录功能模块:(1)个人用户登录功能:个人用户登录时,选择用户类型为个人用户,登录进入个人用户页面。(2)企业用户登录功能:企业用户登录时,选择用户类型为企业用户,登
2020-06-15 17:06:43
594
1
原创 Eclipse配置Tomcat虚拟主机的方法
在Eclipse环境中配置好已下载版本相应的Tomcat服务器时,先不要启动Tomcat服务器,双击Servers下的Tomcat服务器,进入配置,找到Server Locations,选择第二个选项,然后将自己的Tomcat文件所在路径确定在Server path中,然后对服务器HTTP1.1的端口号进行确认是否是80(一般情况下,默认为8080,这个端口号容易被占用,在命令行中输入net st...
2020-05-02 15:22:14
514
原创 由工厂设计模式实现的Java多功能计算器(包括数值运算和图形运算以及字符串运算)
一、任务说明采用工厂方法(Factory Method)设计模式,设计并实现一个多用能计算器。要求如下:① 画出类图,定义每个类的属性和方法,并分析类之间的关系。② 实现多用能计算器,分别实现数值型(标量、向量和矩阵)计算、非数值型(字符串和图形)计算功能。其中,图形仅包含正方形、圆形和等边三角形三类,该功能为选做题。功能详细描述如下。标量计算器:加、减、乘、除向量计算器:加、减、乘、判...
2020-04-30 15:44:07
1019
原创 Apache访问页面出现时Uncaught TypeError: Cannot read property 'getAttribute' of undefined错误
在配置完Apache,访问新建的jndex.jsp文件时,F12进入页面检查,发现出现如下错误:若配置没有问题的话,页面却能正常显示,点进错误:意思是这个函数没有取到html的script元素,即变量t没有赋到script元素的初值,出现了undefined的变量t,所以在编写JSP时,要加上<script>,加完后刷新页面就不会出现这个错误了。...
2020-04-25 00:16:38
1353
原创 解决Bootstrap字体图标glyphicon无法显示的问题
解决Bootstrap字体图标glyphicon无法显示问题在官网下载的Bootstrap3版本,将bootstrap.min.css文件引入到自己Web项目中,使用glyphicon时,图标无法显示正常:<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title>...
2020-04-22 00:28:39
4437
5
毕业设计之招聘网站Recruitment的开发
2020-06-15
Recruitment演示
2020-06-15
工厂设计模式之Java计算器产品.rar
2020-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅