使用LLMLingua进行文档压缩的实践指南

tt_jishu

于 2025-07-09 14:59:44 发布

阅读量113

点赞数 4

CC 4.0 BY-SA版权

文章标签：前端数据库

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/149224572

# 使用LLMLingua进行文档压缩的实践指南

在AI技术领域，提升大规模语言模型(LLMs)的推理效率是一个重要且富有挑战的任务。LLMLingua通过使用紧凑且高效的语言模型(e.g., GPT2-small, LLaMA-7B)，识别并移除提示中的非必要tokens，能够实现高达20倍的压缩，并保持性能损失最小化。这篇文章将详细讲解如何使用LLMLingua作为文档压缩器。

## 技术背景介绍

LLMLingua提供了一种创新的方法，用于优化大规模语言模型的推理效率。通过压缩文档内容，我们可以显著减少模型处理信息的时间和计算资源，尤其是在高需求的应用场景中，这种方法可以带来显著的效益。

## 核心原理解析

LLMLingua的核心是通过训练得当的语言模型来识别语义信息中的冗余部分，从而保持原始信息不变的情况下进行压缩。这种方法不仅提高了处理速度，还降低了存储需求。

## 代码实现演示

以下代码示例展示了如何使用LLMLingua进行文档压缩。示例通过Python代码实现，确保可以直接运行。

```python
import openai
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors import LLMLinguaCompressor
from langchain_openai import ChatOpenAI

# 设置OpenAI客户端
client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

# 加载文档
documents = TextLoader(
    "../../how_to/state_of_the_union.txt",
).load()

# 文本拆分
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

# 初始化嵌入和检索器
embedding = OpenAIEmbeddings(model="text-embedding-ada-002")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

# 使用LLMLingua进行文档压缩
llm = ChatOpenAI(temperature=0)
compressor = LLMLinguaCompressor(model_name="openai-community/gpt2", device_map="cpu")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Brown Jackson"
)

# 输出压缩后的文档
def pretty_print_docs(docs):
    print(
        f"\n{'-' * 100}\n".join(
            [f"Document {i+1}:\n\n" + d.page_content for i, d in enumerate(docs)]
        )
    )

pretty_print_docs(compressed_docs)