如何使用 `trim_messages` 函数优化消息处理

最新推荐文章于 2025-12-05 17:02:52 发布

原创最新推荐文章于 2025-12-05 17:02:52 发布 · 233 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #服务器 #前端

在进行基于聊天模型的开发时，我们常常面对消息上下文窗口有限的问题。这就要求我们有效地管理传递给模型的消息长度。本文将详细介绍如何使用 trim_messages 实用工具来精简消息列表，从而符合给定的 token 长度要求。

技术背景介绍

语言模型的上下文窗口具有有限容量，即限定了输入消息的 token 数量。如果我们的对话链很长或消息历史积累过多，就需要修剪消息以适应窗口大小。trim_messages 提供了一些基本策略用于修剪消息列表，使其符合上下文窗口的 token 限制。

核心原理解析

trim_messages 函数允许我们设置不同的修剪策略，如获取最后的 max_tokens 或获取最开始的 max_tokens。我们还可以通过传递一个语言模型或自定义的 token 计数器函数，精确计数消息的 token 数量以便正确修剪。

代码实现演示(重点)

以下是代码实现的几个示例，展示了 trim_messages 函数的不同用法：

获取最后的 `max_tokens`

# 安装必要库
# pip install -U langchain-openai

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage, trim_messages
from langchain_openai import ChatOpenAI

messages = [
    SystemMessage("you're a good assistant, you always respond with a joke."),
    HumanMessage("i wonder why it's called langchain"),
    AIMessage(
        'Well, I guess they thought "WordRope" and "SentenceString" just didn\'t have the same ring to it!'
    ),
    HumanMessage("and who is harrison chasing anyways"),
    AIMessage(
        "Hmmm let me think.\n\nWhy, he's probably chasing after the last cup of coffee in the office!"
    ),
    HumanMessage("what do you call a speechless parrot"),
]

# 修剪消息以获取最后的 45 个 tokens
trimmed_messages = trim_messages(
    messages,
    max_tokens=45,
    strategy="last",
    token_counter=ChatOpenAI(model="gpt-4o")
)
print(trimmed_messages)

保留初始系统消息

trimmed_messages = trim_messages(
    messages,
    max_tokens=45,
    strategy="last",
    token_counter=ChatOpenAI(model="gpt-4o"),
    include_system=True,
)
print(trimmed_messages)

允许部分拆分消息内容

trimmed_messages = trim_messages(
    messages,
    max_tokens=56,
    strategy="last",
    token_counter=ChatOpenAI(model="gpt-4o"),
    include_system=True,
    allow_partial=True,
)
print(trimmed_messages)