使用Fiddler结合LangChain实现企业级生成与预测模型监控

最新推荐文章于 2025-12-03 18:49:33 发布

原创最新推荐文章于 2025-12-03 18:49:33 发布 · 364 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#fiddler #langchain #前端 #python

技术背景介绍

在现代企业中，大量的数据科学和机器学习模型被用于生成和预测各种复杂的业务需求。然而，管理这些模型，监控其性能并保证其透明性和合规性，都是一项庞大而复杂的任务。Fiddler作为业界领先的企业级生成及预测系统运维平台提供了一体化解决方案，可以帮助企业团队从数据科学、MLOps到风险与合规，全面监控、解释、分析和改进机器学习部署。

核心原理解析

Fiddler通过提供一个统一的平台，允许数据科学家和其他相关团队实时监控机器学习模型的各项指标，并结合LangChain的强大语言模型处理能力，进一步提升信息处理与调用效率。LangChain通过提供对OpenAI及其他语言模型服务的快捷封装，使得企业能够迅速调用生成模型，并通过Fiddler平台实时追踪和分析这些调用。

代码实现演示

这里我们将展示如何利用Fiddler结合LangChain进行模型的监控与调用。首先，我们需要安装所需的包：

!pip install langchain langchain-community langchain-openai fiddler-client

Fiddler连接设置

配置Fiddler连接的信息：

URL = "https://demo.fiddler.ai"  # 您的Fiddler实例URL
ORG_NAME = "your-organization-id"
AUTH_TOKEN = "your-auth-token"
PROJECT_NAME = "your-project-name"
MODEL_NAME = "your-model-name"

创建Fiddler回调处理器实例

from langchain_community.callbacks.fiddler_callback import FiddlerCallbackHandler

fiddler_handler = FiddlerCallbackHandler(
    url=URL,
    org=ORG_NAME,
    project=PROJECT_NAME,
    model=MODEL_NAME,
    api_key=AUTH_TOKEN,
)

示例1：基本调用链

from langchain_core.output_parsers import StrOutputParser
from langchain_openai import OpenAI

# 确保OpenAI API密钥已设置在环境变量OPENAI_API_KEY中
llm = OpenAI(temperature=0, streaming=True, callbacks=[fiddler_handler])
output_parser = StrOutputParser()

chain = llm | output_parser

# 调用链。调用将被记录到Fiddler，并自动生成指标
chain.invoke("How far is moon from earth?")

该代码展示了如何创建一个基本的调用链，并将调用信息记录到Fiddler中。

示例2：带有提示模板的调用链

from langchain_core.prompts import (
    ChatPromptTemplate,
    FewShotChatMessagePromptTemplate,
)

examples = [
    {"input": "2+2", "output": "4"},
    {"input": "2+3", "output": "5"},
]

example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "{input}"),
        ("ai", "{output}"),
    ]
)

few_shot_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

# 确保OpenAI API密钥已设置在环境变量OPENAI_API_KEY中
llm = OpenAI(temperature=0, streaming=True, callbacks=[fiddler_handler])

chain = final_prompt | llm

# 调用链。调用将被记录到Fiddler，并自动生成指标
chain.invoke({"input": "What's the square of a triangle?"})