LLMC：大语言模型压缩工具的开发实践

已于 2024-12-13 17:21:27 修改
阅读量608 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 青稞Talk 文章标签： 语言模型 人工智能 自然语言处理
于 2024-12-13 11:55:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QingKeLab/article/details/144446589

关注：青稞AI，学习最新AI技术
青稞Talk主页：qingkelab.github.io/talks

大模型的进步，正推动我们向通用人工智能迈进，然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术，虽然可以用来加速大模型并且有效降低显存需求，但量化后也可能会带来精度风险。

在这里插入图片描述

在由北航、商汤、南洋理工等团队联合推出的即插即用的大模型压缩工具包：LLMC中，不仅支持DeepSeekv2(2.5)等MOE模型以及Qwen2VL、Llama3.2等VLM模型的量化，还支持包括整型量化、浮点量化等量化方案，以及AWQ、GPTQ、SmoothQuant 和 Quarot 等先进量化算法。

LLMC可以利用最先进的压缩算法提高效率并减少模型体积，同时不影响预测精度。目前已开源，大家可以直接使用

https://github.com/ModelTC/llmc

12月16日晚8点，青稞Talk第32期，商汤科技研究院谷石桥和雍洋两位模型压缩研究员，将对LLMC进行直播分享，主题为《LLMC：大语言模型压缩工具的开发实践》。

他们将从工具框架设计，常用算法解读和工具使用方式等角度，为大家详细讲解LLMC及实践，希望大家可以从中获益。

主讲嘉宾

谷石桥，商汤科技研究院模型压缩研究员，毕业于天津大学，现主要研究方向为深度学习的模型压缩技术，目前已在EMNLP，PatternRecognition, TCSVT等发表多篇论文。

雍洋，商汤科技研究院模型压缩研究员，毕业于西安交通大学，现主要研究方向为深度学习的模型压缩技术，目前已在AAAI，EMNLP，ACM MM等发表多篇论文。

主题提纲

LLMC：大语言模型压缩工具的开发实践

1、大模型压缩及量化风险

2、大模型压缩包 LLMC 的框架设计

3、LLMC 落地实践和推理后端部署

4、自定义扩展新算法、模型及评测数据

直播时间

12月16日（周一）20:00 - 21:00

AIGC从入门到实战：AI 赋能推荐系统，提升用户黏性和用户体验
AI天才研究院
06-29 1144
在当今数字化时代，信息过载已成为一个普遍问题。用户每天都面临着海量的内容选择，如何在这个信息爆炸的时代找到真正感兴趣的内容成为一个巨大挑战。推荐系统（Recommender System，RS）应运而生，旨在为用户提供个性化的内容推荐，提高用户体验和满意度。随着人工智能技术的飞速发展，特别是大语言模型（Large Language Model，LLM）的出现，为推荐系统带来了新的机遇和挑战。LLM凭借其强大的自然语言理解和生成能力，为推荐系统的个性化用户行为预测提供了新的可能性。
LLM之llmc：llmc的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-11 1771
​ LLM之llmc：llmc的简介、安装和使用方法、案例应用之详细攻略 目录 llmc的简介 llmc的安装和使用方法 llmc的案例应用 llmc的简介 llmc 是一个即插即用的工具，旨在通过最先进的压缩算法进行大型语言模型的压缩，以提高效率并减小模型大小，同时不牺牲性能。 1、新闻 2024 年 7 月 23 日： ������ 我们发布了全新版本的基准论文： LLMC：使用多功能压缩工具包对大型语言模型量化进行基准测试。 Ruihao Gong*, Y
LLMC: 自然语言到 shell 命令 — 基于本地大模型的开源工具
weixin_43838181的博客
10-22 380
LLMC: 自然语言到 shell 命令 — 基于本地大模型的开源工具
【工程开发】LLMC准确高效的LLM压缩工具（一）
Toky_min的博客
04-13 1003
大语言模型（LLMs）的最新进展凭借其卓越的涌现能力和推理能力，正推动我们迈向通用人工智能。然而，大量的计算和内存需求限制了它们的广泛应用。量化作为一种关键的压缩技术，虽可能对准确性构成潜在风险，但能够通过压缩和加速大语言模型，有效缓解这些需求。 众多研究致力于将量化带来的准确性损失降至最低。然而，它们的量化配置各不相同，无法进行公平比较。在本文中，我们提出了LLMC，这是一个即插即用的压缩工具包，用于公平且系统地探究量化的影响。 LLMC集成了数十种算法、模型和硬件，提供了从整数到浮点量化、从大语言模
探索高效压缩的语言之光：llmc
gitblog_00022的博客
06-26 494
探索高效压缩的语言之光：llmc 在当今快速发展的AI世界里，大型语言模型(Large Language Models, LLMs)已经成为人工智能的核心。然而，随着模型规模的不断膨胀，带来了计算资源的需求激增和运行效率的问题。此时，一款名为llmc的开源工具应运而生，它致力于在保持性能的同时，通过先进的压缩算法缩小这些庞大模型的体积。让我们一起深入探讨llmc的魅力所在。 项目介绍 llmc（L...
商汤开源大模型压缩工具LLMC！单卡压缩Llama 3.1 405B
青年AI研究员idea加油站，AI开发者的新能源充电桩。
10-09 1043
关注公众号：青稞AI，第一时间学习最新AI技术
LLMC 项目使用教程
gitblog_00532的博客
10-10 491
LLMC 项目使用教程 1. 项目介绍 LLMC（Large Language Model Compression）是一个用于压缩大型语言模型的多功能压缩工具包。该项目旨在通过先进的压缩算法，在不牺牲模型性能的前提下，提高模型的效率并减少模型大小。LLMC 支持多种压缩算法，包括量化、混合精度量化和稀疏性，并且兼容多种大型语言模型（如 LLaMA、Mistral、InternLM2 等）和后端（如...
【亲测免费】 LLM.C 开源项目教程
gitblog_00829的博客
08-09 604
LLM.C 开源项目教程 项目介绍 LLM.C 是一个由 Karpathy 开发的开源项目，专注于实现一个轻量级的语言模型。该项目旨在提供一个简单、高效的框架，用于理解和生成自然语言文本。LLM.C 的核心优势在于其简洁的代码结构和高效的性能，非常适合初学者和专业人士学习和使用。 项目快速启动 环境准备 在开始之前，请确保您的开发环境已经安装了以下工具和库： Git C 编译器（如 GCC） ...
大模型瘦身专家！单卡处理Llama 3.1 405B 超强压缩工具LLMC来了
张伟的专栏
08-02 637
量化，就像是给AI大脑做了一次“瘦身”，通过将模型的权重和激活映射到更低位数的数据格式，不仅减少了模型的体积，还加快了模型的运行速度。LLMC就像是AI的私人减肥教练，它能够帮助研究者和开发者找到最适合的"减肥方案"，既能让AI模型变得更轻盈，又不会影响它的"智力水平"。一个拥有1760亿参数的多语言模型Bloom，光是存储模型的权重就需要至少350GB的空间，而且运行起来还需要好几块高级GPU。在量化算法方面，他们探讨了转换、裁剪和重建三种主要技术的影响，就像是比较了不同的运动方式对减肥的效果。
大模型（LLM）的量化技术Quantization原理学习
热门推荐
penriver的博客
03-02 2万+
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
Datawhale 科大讯飞AI大赛（模型蒸馏）
1ncludeSteven
07-27 415
使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。
跨境支付入门～国际支付结算（风控篇）
lkf19711的博客
07-25 1055
跨境支付企业的"吞金兽"：风控系统成为最大成本黑洞。这类系统需采购海量第三方数据（年费超千万），并应对国际卡组织的高额合规要求（如VISA系统年增300万美元成本）。核心防控AML（反洗钱）和CFT（反恐融资）风险，通过四阶KYC认证体系（证件核验到持续监控）和KYB企业审查（股权穿透到贸易背景验证）。采用AI检测（准确率98.7%）、知识图谱等技术，并实施分级审核策略（CDD/EDD）。风控系统需融合3000+规则引擎和机器学习模型，实现全流程监控，是跨境支付企业的生死线。
04动手学深度学习（下）
最新发布
2302_80363296的博客
07-28 103
为处理缺失值，典型方法包含插值和删除，这里采用插值的方法。创建一个人工数据集，并存储在csv（逗号分隔）文件。转换为NumPy张量。
RoPE：相对位置编码的旋转革命——原理、演进与大模型应用全景
拒绝AI玄学，只聊真技术▲
07-26 1609
RoPE通过几何旋转的统一框架，实现了位置编码的相对性、可逆性与外推性的平衡，成为大模型位置感知的基石技术。跨模态统一：N维李群框架支撑视频、3D点云位置建模动态频率学习：替代预设θbaseθbase​，实现任务自适应编码鲁棒性增强：融合FoPE思想抵抗深层频谱损坏RoPE的本质是将位置关系映射为复数空间的旋转群——它不仅是Transformer的“位置感知器”，更是AI理解时空的数学透镜。当旋转矩阵的维度从文本扩展到图像、视频乃至物理世界，位置编码的数学之美正在重构AI对世界的认知方式。
大模型开发
2302_81352523的博客
07-23 1333
AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。
AI模型训练中过拟合和欠拟合的区别是什么？
workflower的博客
07-28 176
定义：模型未能充分学习到数据中的规律，对训练数据的拟合程度较差，在训练集和测试集上的表现都不好（如准确率低、损失值高）。- 定义：模型过度学习了训练数据中的细节（包括噪声和随机波动），导致对训练数据拟合效果极好，但对未见过的测试数据泛化能力差。- 表现：训练集性能极好（如准确率接近100%），但测试集性能明显下降，两者差距很大。- 表现：训练集和测试集的性能指标（如准确率）都较低，且两者差距不大。- 过拟合：模型“学太死”，只对训练数据表现好，对新数据没用。- 模型结构过于复杂（如参数过多）；
人工智能与交通：智能出行的变革与突破
一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！
07-25 1092
AI 驱动的智能交通不仅是技术升级，更是对城市空间、能源利用、社会分工的全面重构。从自动驾驶解放人类的驾驶时间，到智能调度让城市告别拥堵，再到绿色交通助力碳中和，每一项进步都在重新定义 “出行” 的意义 —— 从 “必要的负担” 变为 “高效、安全、愉悦的体验”。实现这一愿景需要技术突破、法规创新、社会协同的多方努力。当技术足够成熟、法规足够清晰、公众足够信任时，智能交通将成为 “未来城市” 的血管系统，支撑起更高效、更公平、更可持续的人类生活方式。
人工智能时代的战略竞争优势商业模式创新培训讲师培训师专家咨询顾问唐兴通谈个性化在制造业金融业医疗医药石油化工SARS软件行业大客户营销与销售背后的价值
Akibfrycc的博客
07-26 764
这让我想起《孙子兵法》中的"迅雷不及掩耳"——当你的竞争对手还在为季度营销计划绞尽脑汁时，真正的领导者已经构建了能够同时运行数百个覆盖数百万客户的实验系统，在短短几天内就能提取洞察，并将其融入下一轮互动。他们深谙个性化的真谛：结合智能整合与自动化，在敏捷团队中跨越功能孤岛，将测试和学习的时间线压缩至小时级别，月度实验数量提升至数千个。真正的个性化能力竞争是组织能力的竞争。今日，不知多少企业迷信于购买昂贵的营销自动化平台，招揽数据科学家，实施CRM系统，却依然无法真正理解客户，更遑论预测需求、创造价值。
背景：在使用llmc量化Llama模型时，数据集读取用到了load_from_disk方法，此方法读入的数据集类型为arrow格式，因此需要进行数据集格式的转换。arrow文件格式
01-22
### 将Arrow格式数据集转换为适合LLaMA量化使用的格式 当使用`load_from_disk`方法加载Llama模型所需的数据集时，该方法会返回一个基于Apache Arrow格式的数据结构[^1]。为了使这些数据能够被用于后续的处理和训练过程，在某些情况下可能需要将其转换成其他更易于操作的形式。 #### 转换至Pandas DataFrame 一种常见的做法是先将Arrow表转化为Python中的Pandas `DataFrame`对象： ```python import pandas as pd from datasets import load_from_disk dataset_arrow = load_from_disk('path_to_dataset') # 加载箭头格式的数据集 df = dataset_arrow.to_pandas() # 转换成pandas dataframe ``` 这样做的好处是可以利用Pandas库丰富的功能来进行数据分析预处理工作；然而对于大规模数据而言可能会占用较多内存资源。 #### 使用PyTorch Tensor 如果目标是在深度学习框架下（比如PyTorch）进一步训练或微调模型，则可以考虑直接创建张量(tensor)，这有助于提高效率并减少不必要的中间表示形式: ```python import torch from transformers import LlamaTokenizerFast tokenizer = LlamaTokenizerFast.from_pretrained('model_name') encoded_inputs = tokenizer(df['text'].tolist(), padding=True, truncation=True, return_tensors='pt') input_ids_tensor = encoded_inputs.input_ids # 获取输入ID对应的tensor attention_mask_tensor = encoded_inputs.attention_mask # 获取注意力掩码对应的tensor ``` 这里假设原始数据集中有一个名为"text"列包含了待编码的文字内容，并且已经安装了Transformers库来辅助完成tokenization任务。 #### 自定义Dataset类 针对特定应用场景还可以构建自定义的PyTorch Dataset子类以便更好地集成到整个机器学习流水线当中去： ```python class CustomTextDataset(torch.utils.data.Dataset): def __init__(self, encodings): self.encodings = encodings def __len__(self): return len(self.encodings['input_ids']) def __getitem__(self, idx): item = {key: val[idx] for key, val in self.encodings.items()} return item custom_dataset = CustomTextDataset(encoded_inputs) data_loader = torch.utils.data.DataLoader(custom_dataset, batch_size=8, shuffle=True) ``` 这种方法不仅提高了灵活性而且使得批处理更加高效。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值