文献阅读：LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

最新推荐文章于 2025-05-04 18:23:30 发布
原创 最新推荐文章于 2025-05-04 18:23:30 发布 · 3.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLMLingua #prompt压缩 #prompt工程 #LLM效率优化 #LLM

微软的研究文章提出LLMLingua方法，通过压缩提示以减少大语言模型的推理负担，保持生成效果的同时提高效率。文章探讨了多种实验结果和局限，显示该技术在实际应用中有潜在价值。

1. 文章简介

这篇文章是微软在23年10月发表的一篇针对LLM的prompt压缩的文章。

最低0.47元/天 解锁文章
Title: LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
程序认生
03-26 1326
1.: 目标压缩比为2倍。2.: 目标压缩比为3倍。3.: 使用小语言模型计算每个词汇单元（如句子、短语或令牌）的自信息，然后删除信息量较低的内容以实现提示压缩。4.: 提出了LLMLingua方法，包括预算控制器、迭代令牌级提示压缩和分布对齐。Tokens: 在给定压缩比下，压缩后的提示中的令牌数量。BLEUROUGERougeLBSF1: 这些是评估摘要任务性能的指标，分别代表BLEU分数、ROUGE分数、RougeL分数、BERTScore分数和F1分数。Tokens 1/π。
《Advanced RAG》-09-Prompt 压缩（一）
静愚AGI
08-12 1407
文章主要介绍了提升大型语言模型效率的提示压缩技术，包括方法分类、算法原理和代码实现，并详细介绍了四种主要的提示压缩方法：基于信息熵的方法、基于软提示调整的方法、基于数据提炼的方法和基于标记合并或剪枝的方法。
如何使用Prompt快速压缩将RAG成本降低80%
安静的软件工程师
01-25 2156
如何使用Prompt快速压缩将RAG成本降低80%
LLMLingua: 压缩prompt构造LLMs的语言
zenRRan的博客
01-24 665
介绍Prompt 对于人与大型语言模型的交互至关重要。但通过Prompt传递有效信息面临诸多挑战：长Prompt的高处理成本、冗余与噪声导致的性能下降，以及由于位置偏见造成的选择性信息丢失。我们提出了LLMLingua系列方法，通过Prompt Compression结合Reorganization来解决上述问题。LLMLingua能有效缓解'lost in the middle'问题，提升21....
使用LLMLingua进行文档压缩:提高LLM检索效率的强大工具
afTFODguAKBF的博客
09-06 1151
LLMLingua是一个创新的文档压缩工具,它利用小型但经过良好训练的语言模型(如GPT2-small或LLaMA-7B)来识别和删除提示中的非必要token。这种方法能够实现高达20倍的压缩率,同时最小化性能损失。LLMLingua为大规模文档检索和处理提供了一个强大的解决方案。通过高效的文档压缩,它可以显著提高LLM应用的性能和效率。LLMLingua GitHub 仓库LangChain 文档向量数据库和嵌入技术介绍大型语言模型优化技术综述。
20倍压缩比！微软提出大模型提示压缩框架LLMLingua
夕小瑶科技说
12-19 2777
通常指在自然语言处理中，对语言模型性能的一种度量。它衡量了语言模型在给定一段文本后对下一个词预测的不确定性或困惑程度。一般来说，困惑度越低，模型的性能越好，因为它表示模型对下一个词预测的自信程度。在本文中，困惑度被用作衡量提示信息复杂度的标准。较低困惑度的 token在语言模型的预测中贡献的不确定性较小，因此可能被认为是相对冗余的信息，在压缩中被删除也不太影响语义信息。
使用 LLMLingua-2 压缩 GPT-4 和 Claude 提示
安静的软件工程师
04-03 1951
使用 LLMLingua-2 压缩 GPT-4 和 Claude 提示
Prompt compress 技术探究-LLMLingua
点滴的岁月
05-04 1141
这里以微软的一篇发表在2023EMNLP 顶级期刊研究论文，介绍下prompt compress技术。就信息熵角度来说，困惑度 (PPL) 较低的标记对语言模型的整体熵增益贡献较小,删除困惑度较低的词条，对LLM理解上下文的影响相对较小， 基于这个理论指导，这篇论文进行了尝试。大型语言模型 (LLM) 因其强大的性能而被广泛应用于各种领域。随着思路链 (CoT) 提示和语境学习 (ICL) 等技术的进步，输入到 LLM 的提示越来越长，甚至超过数万个 token。
文献阅读：Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communicat
codename_cys的博客
12-31 1264
文献阅读：Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication
探索LLMLingua：微软开源的多语言处理库
gitblog_00040的博客
04-19 437
是微软开发并开源的一个强大的多语言处理工具库，旨在帮助开发者轻松地进行文本分类、语种检测和词汇量估计等任务。这个项目基于Python，并利用现代深度学习框架如PyTorch，以高效且灵活的方式提供多种自然语言处理（NLP）功能。 ## 技术分析 ### 算法与模型 LLMLingua主要依赖预训练的Transformer模型，比如BERT，这些模型在大规模数据集上经过训练，具有出色的泛化能力...
微软推出LLMLingua：旨在加速LLM的推理过程
AI_Mohist_Gang的博客
12-14 651
然而，最新的发展，如上下文学习（ICL）和思维链条（CoT）提示技术，导致了更长提示语的使用，有时甚至超过数万个标记（tokens）。LLMLingua的一个值得注意的方面是恢复能力，当它被用来恢复压缩的提示语时，GPT-4有效地从完整的九步CoT提示中恢复了重要的推理信息，保持了原始提示语的意义和相似性。为了解决这些挑战，微软公司的研究团队提出了LLMLingua，这是一种独特的粗到细的快速压缩技术。这种技术通过捕捉压缩元素之间的相互依赖性，实现了更为精细的压缩，同时保留了提示语的关键信息。
高级RAG技术研究之： Prompt 压缩
m0_59235945的博客
06-30 2251
LLMLingua认为Selective Context经常忽视压缩内容之间的互连以及 LLM 和用于Prompt压缩的小语言模型之间的相关性。LLMLingua 正是解决了这些问题。具体来说，如图 4 所示，LLMLingua 采用预算控制器为原始提示的各个组成部分（例如指令、演示和问题）动态分配不同的压缩比。它还执行粗粒度、演示级压缩，即使在高压缩比下也能保持语义完整性。此外，LLMLingua 引入了用于细粒度提示压缩的令牌级迭代算法。图 4：所提议方法 LLMLingua 的框架。
大模型中的提示词（prompt）压缩：让每个Token都物尽其用
xxue345678的博客
03-10 1439
提示词压缩（
Prompt压缩：提升大型语言模型效率的关键技术
m0_56255097的博客
11-08 1344
Prompt压缩是指将长而复杂的提示文本简化为更短、更精炼的形式，以便在保持原始意图的同时，提高LLMs的处理效率和准确性。这种技术的重要性主要体现在以下几个方面：提高处理效率：LLMs 由于计算资源的限制，对能够处理的最大标记（token）长度有一定限制。通过压缩 Prompt，可以在这些标记限制内容纳更多信息，从而最大化 LLM 计算资源的效率。例如，一个较长的关于特定主题的 Prompt 可能无法完整输入到语言模型中，但经过压缩后，可以在不丢失关键信息的情况下符合标记长度要求。
【AI大模型】Prompt压缩：提升大型语言模型效率的关键技术
bugyinyin的博客
11-21 1231
Prompt压缩是指将长而复杂的提示文本简化为更短、更精炼的形式，以便在保持原始意图的同时，提高LLMs的处理效率和准确性。这种技术的重要性主要体现在以下几个方面：提高处理效率：LLMs 由于计算资源的限制，对能够处理的最大标记（token）长度有一定限制。通过压缩 Prompt，可以在这些标记限制内容纳更多信息，从而最大化 LLM 计算资源的效率。例如，一个较长的关于特定主题的 Prompt 可能无法完整输入到语言模型中，但经过压缩后，可以在不丢失关键信息的情况下符合标记长度要求。
《Advanced RAG》-09-Prompt 压缩（二）
静愚AGI
08-13 1372
文章主要介绍了提升大型语言模型效率的提示压缩技术，包括方法分类、算法原理和代码实现，并详细介绍了四种主要的提示压缩方法：基于信息熵的方法、基于软提示调整的方法、基于数据提炼的方法和基于标记合并或剪枝的方法。
大模型Prompt压缩（非常详细），零基础入门到精通，看这一篇就够了
Java癫疯的博客
10-23 4388
大模型Prompt压缩（非常详细），零基础入门到精通，看这一篇就够了
使用LLMLingua进行高效文档压缩：提高LLM推理效率
sjufgwgfhoia的博客
09-21 334
LLMLingua提供了一种高效的文档压缩方法，可以在保持性能的同时显著减少输入数据量。这种技术在需要快速响应的应用中尤为重要。LLMLingua官方文档OpenAI Embeddings文档。
gitlab remote: Compressing objects: 很慢是什么原因
最新发布
07-26
<think>我们正在解决GitLab远程仓库在执行'Compressing objects'时速度很慢的问题。这个问题通常发生在推送大型仓库或大文件时，Git在传输前会进行对象压缩（packing）以节省带宽。以下我们将分析原因并提供优化方案。 ### 一、问题原因分析 1. **硬件资源瓶颈**：压缩过程（尤其是`git gc`或`git pack-objects`）是CPU密集型操作，服务器CPU性能不足会导致速度缓慢[^1]。 2. **压缩算法选择**：Git默认使用`zlib`压缩（级别1-9），高级别压缩虽节省带宽但显著增加CPU负载[^2]。 3. **大对象处理**：仓库中包含大型二进制文件（如图片、视频）时，Delta压缩效率低下且耗时。 4. **网络传输限制**：压缩后的包在传输时受网络带宽限制，但压缩本身慢通常与CPU相关。 ### 二、优化解决方案 #### 方案1：调整Git压缩配置（客户端/服务端） ```bash # 降低压缩级别（加速压缩但增加包体积） git config --global core.compression 0 # 完全禁用（不推荐） git config --global core.compression 1 # 最低压缩级别（推荐） # 限制压缩线程（避免资源争抢） git config --global pack.threads 1 ``` #### 方案2：优化服务端GitLab配置 编辑GitLab服务端配置文件`/etc/gitlab/gitlab.rb`： ```ruby gitlab_rails['env'] = { 'GIT_COMMITTER_NAME' => 'GitLab', 'GIT_COMMITTER_EMAIL' => 'gitlab@example.com', # 增加Git内存限制（单位字节） 'GIT_ALLOC_LIMIT' => 2147483648, # 2GB # 禁用Delta压缩优化（对大文件有效） 'GIT_DELTA_COMPRESSION' => 'false' } ``` 运行`gitlab-ctl reconfigure`使配置生效[^1]。 #### 方案3：使用Git LFS管理大文件 对于二进制文件（>10MB），使用Git LFS避免压缩： ```bash # 安装Git LFS git lfs install # 跟踪大文件类型 git lfs track "*.psd" git lfs track "*.zip" # 提交并推送 git add .gitattributes git commit -m "Add LFS tracking" git push origin main ``` #### 方案4：仓库维护（服务端执行） ```bash # 进入仓库目录 cd /var/opt/gitlab/git-data/repositories/@hashed/... # 优化仓库结构 git gc --aggressive # 深度优化（需停机维护） git repack -a -d --window=0 --depth=0 # 禁用Delta压缩 ``` ### 三、架构级优化 1. **横向扩展**：部署GitLab Runner分担构建任务，避免主服务器过载（参考用户提供的Runner配置[^1]）。 2. **缓存机制**：在CI/CD流水线中启用缓存，减少重复压缩： ```yaml # .gitlab-ci.yml示例 cache: key: $CI_COMMIT_REF_SLUG paths: - vendor/ ``` ### 四、性能监控 使用Linux工具定位瓶颈： ```bash # 监控CPU和内存 top -p $(pgrep -f 'git pack-objects') # 查看Git详细日志 GIT_TRACE_PACKET=1 GIT_TRACE=1 git push origin main ``` > 💡 **注意**：若使用云托管GitLab（如GitLab.com），请联系支持团队检查服务端状态。 ### 相关问题 1. 如何检测Git仓库中的大文件并清理？ 2. Git LFS的工作原理及其与普通Git对象的区别？ 3. 如何配置GitLab Runner以优化CI/CD性能？ 4. Git压缩算法（zlib/zstd）的选择对性能有何影响？ 5. 服务器硬件配置（CPU/内存）如何影响Git仓库操作性能？ [^1]: 用户提供的GitLab Runner部署命令 [^2]: 若依项目Nginx代理配置参考</think>### GitLab 远程仓库 "Compressing objects" 速度慢的原因与优化方案 #### 一、问题原因分析 1. **CPU资源瓶颈** Git 压缩过程（`git pack-objects`）是 CPU 密集型操作，服务器 CPU 性能不足是主要原因。压缩级别越高（默认级别 6），CPU 消耗越大[^1]。 2. **大文件处理效率低** 仓库中存在大型二进制文件（如图片、视频、数据集）时，Delta 压缩算法效率显著下降，导致处理时间指数级增长。 3. **内存限制** 压缩过程需要缓存对象数据，内存不足时会导致频繁的磁盘交换（SWAP），典型症状： ```bash remote: warning: suboptimal pack - out of memory ``` 4. **网络传输瓶颈** 压缩后数据需通过网络传输，高延迟或低带宽网络会放大等待时间（尤其跨国传输）。 5. **服务端配置问题** GitLab 默认配置未针对大型仓库优化： ```ruby # /etc/gitlab/gitlab.rb gitlab_rails['git_max_size'] = 20971520 # 默认20MB文件限制 gitlab_rails['git_timeout'] = 10 # 默认10秒超时 ``` #### 二、优化解决方案 ##### 方案1：调整 Git 压缩配置（客户端） ```bash # 降低压缩级别（1=最快，9=最高压缩） git config --global core.compression 1 # 禁用 Delta 压缩优化（对大文件有效） git config --global pack.depth 0 # 限制压缩线程（避免资源争抢） git config --global pack.threads 1 ``` ##### 方案2：服务端 GitLab 优化 1. **修改全局配置**： ```ruby # /etc/gitlab/gitlab.rb gitaly['pack_objects_cache_enabled'] = true gitaly['pack_objects_cache_max_age'] = "5m" # 缓存时间 gitlab_rails['env'] = { 'GIT_ALLOC_LIMIT' => '2147483648' # 增加Git内存至2GB } ``` 执行 `gitlab-ctl reconfigure` 生效[^1]。 2. **启用 Zstandard 压缩**（Git 2.34+）： ```ruby gitaly['configuration'] = { git: { config: [ { key: "pack.compression", value: "zstd" }, { key: "core.compression", value: "zstd" } ]} } ``` ##### 方案3：基础设施优化 1. **横向扩展 Gitaly 节点**： ```bash # 添加专用存储节点 gitaly['storage'] = [ { name: 'default', path: '/mnt/gitlab/gitaly' } ] ``` 2. **使用 Git LFS 管理大文件**： ```bash git lfs install git lfs track "*.psd" git add .gitattributes ``` 3. **仓库维护命令**： ```bash # 服务端执行（需停用仓库） git gc --aggressive git repack -a -d --window=0 --depth=0 ``` #### 三、性能验证方法 1. 基准测试压缩速度： ```bash time git push origin main ``` 2. 监控资源使用： ```bash # 服务端查看资源占用 top -p $(pgrep -f 'git pack-objects') ``` > ⚠️ 注意：若使用云托管 GitLab（如 GitLab.com），需通过 **Support Ticket** 申请调整实例参数。 ### 相关问题 1. 如何检测 Git 仓库中的大文件并清理历史记录？ 2. Git LFS 和 Git Annex 在管理大文件时的区别？ 3. 如何配置 GitLab Runner 以优化 CI/CD 流水线性能？ 4. Git 的 Delta 压缩算法原理及其性能瓶颈？ 5. 服务器硬件（CPU/内存/磁盘）如何影响 Git 仓库操作性能？ [^1]: 用户提供的 GitLab Runner 部署配置 [^2]: Nginx 代理配置参考（网络优化相关）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值