LangChainJS 实战：如何优雅地实现模型降级与容错机制-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01164/article/details/148378049

LangChainJS 实战：如何优雅地实现模型降级与容错机制

langchainjs 项目地址: https://gitcode.com/gh_mirrors/la/langchainjs

前言

在构建基于大语言模型(LLM)的应用时，我们经常会遇到各种意外情况：API限流、服务宕机、上下文过长等问题。这些问题在开发阶段可能影响不大，但在生产环境中却可能导致严重后果。本文将深入探讨如何使用LangChainJS提供的Fallbacks机制来构建健壮的LLM应用。

什么是Fallbacks机制

Fallbacks（降级机制）是LangChainJS提供的一种容错策略，它允许在主要组件失败时自动切换到备用方案。这种机制不仅可以在LLM层面实现，还可以在整个可运行链(Runnable)层面实现。

基础准备

在开始之前，你需要了解以下LangChainJS核心概念：

LangChain表达式语言(LCEL)
可运行链(Runnable)的串联使用

处理LLM API错误

这是Fallbacks最常见的应用场景。LLM API调用可能因多种原因失败：服务不可用、达到速率限制等。

关键注意事项

默认情况下，许多LangChainJS的LLM包装器会自动捕获错误并重试。但在使用Fallbacks时，你可能需要禁用这些自动重试功能，否则包装器会不断重试而不是触发降级逻辑。

代码实现

import { ChatOpenAI } from "@langchain/openai";
import { ChatAnthropic } from "@langchain/anthropic";
import { StringOutputParser } from "@langchain/core/output_parsers";

// 主模型
const mainModel = new ChatOpenAI({
  modelName: "gpt-3.5-turbo",
  maxRetries: 0 // 禁用自动重试
});

// 备用模型
const backupModel = new ChatAnthropic({
  modelName: "claude-2",
  maxRetries: 0
});

// 创建带降级的链
const chain = mainModel.withFallbacks({
  fallbacks: [backupModel]
}).pipe(new StringOutputParser());

// 使用链
const result = await chain.invoke("Tell me a joke");

可运行链的降级处理

我们不仅可以为单个模型设置降级，还可以为整个执行链设置降级方案。这在不同的模型需要不同提示模板时特别有用。

import { OpenAI } from "@langchain/openai";
import { PromptTemplate } from "@langchain/core/prompts";

// 主链使用Chat模型
const mainChain = new ChatOpenAI({ /* 配置 */ });

// 备用链使用非Chat模型，需要不同的提示模板
const backupPrompt = PromptTemplate.fromTemplate("回答：{input}");
const backupChain = backupPrompt.pipe(new OpenAI({ /* 配置 */ }));

// 创建带降级的链
const chainWithFallback = mainChain.withFallbacks({
  fallbacks: [backupChain]
});

处理长输入问题

LLM的一个主要限制是其上下文窗口大小。当输入超过模型限制时，我们可以降级到支持更长上下文的模型。

import { TokenTextSplitter } from "@langchain/textsplitters";

// 主模型（上下文窗口较小）
const smallContextModel = new ChatOpenAI({
  modelName: "gpt-3.5-turbo",
  maxTokens: 4096
});

// 备用模型（支持更长上下文）
const largeContextModel = new ChatOpenAI({
  modelName: "gpt-3.5-turbo-16k"
});

// 文本分割器
const splitter = new TokenTextSplitter({
  chunkSize: 4000,
  chunkOverlap: 200
});

const chain = smallContextModel.withFallbacks({
  fallbacks: [{
    // 当输入过长时，先分割再处理
    runnable: splitter.pipe(largeContextModel)
  }]
});

降级到更强大的模型

有时我们需要模型输出特定格式（如JSON）。GPT-3.5等模型可以完成这类任务，但有时会失败。这时我们可以先尝试更快更便宜的模型，如果解析失败再使用更强大的模型。

import { JsonOutputParser } from "@langchain/core/output_parsers";

// 快速但能力较弱的模型
const fastModel = new ChatOpenAI({
  modelName: "gpt-3.5-turbo",
  temperature: 0
});

// 更强大但更慢的模型
const powerfulModel = new ChatOpenAI({
  modelName: "gpt-4",
  temperature: 0
});

// 创建解析器
const parser = new JsonOutputParser();

// 主链
const mainChain = fastModel.pipe(parser);

// 带降级的链
const chainWithFallback = mainChain.withFallbacks({
  fallbacks: [powerfulModel.pipe(parser)]
});

// 使用链
const result = await chainWithFallback.invoke("列出5个国家及其首都，输出为JSON");