RagaAI Catalyst中的Agentic Tracing技术解析与应用实践-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00586/article/details/148375894

RagaAI Catalyst中的Agentic Tracing技术解析与应用实践

RagaAI-Catalyst Python SDK for Agent AI Observability, Monitoring and Evaluation Framework. Includes features like agent, llm and tools tracing, debugging multi-agentic system, self-hosted dashboard and advanced analytics with timeline and execution graph view 项目地址: https://gitcode.com/gh_mirrors/ra/RagaAI-Catalyst

概述

在现代AI系统开发中，如何有效地追踪、监控和优化AI代理(Agent)的行为是一个关键挑战。RagaAI Catalyst项目提供的Agentic Tracing模块正是为解决这一问题而生，它为开发者提供了一套完整的工具集，用于成本追踪、性能监控和代理行为调试。

核心功能

Agentic Tracing模块主要提供以下核心功能：

多框架支持：兼容多种主流AI框架，包括LangGraph、LangChain、SmolAgents、OpenAI Agents、LlamaIndex和Haystack等。
细粒度监控：
- 支持在Span级别和Trace级别添加自定义指标
- 提供执行指标追踪能力
- 支持添加上下文信息和基准数据(Ground Truth)
透明化操作：通过详细的追踪数据，开发者可以全面了解代理的内部运作机制。

技术实现详解

1. 指标追踪

Agentic Tracing提供了灵活的指标追踪机制：

# Span级别指标添加
current_span().add_metrics(name='Accuracy', score=0.5, reasoning='评估理由')

# Trace级别指标添加
tracer.add_metrics(name='hallucination_1', score=0.5, reasoning='幻觉检测结果')

# 执行指标追踪
current_span().execute_metrics(
    name="Hallucination",
    model="gpt-4o",
    provider="openai"
)

2. 上下文管理

开发者可以方便地添加上下文信息：

current_span().add_context("当前处理流程的详细说明")
current_span().add_gt("这是基准数据")

实战案例：基于LangGraph的研究助手

下面我们通过一个完整的LangGraph研究助手案例，展示Agentic Tracing的实际应用。

1. 初始化设置

首先需要初始化RagaAI Catalyst和追踪模块：

from ragaai_catalyst import RagaAICatalyst, init_tracing
from ragaai_catalyst.tracers import Tracer

def initialize_catalyst():
    catalyst = RagaAICatalyst(
        access_key=os.getenv('CATALYST_ACCESS_KEY'), 
        secret_key=os.getenv('CATALYST_SECRET_KEY'), 
        base_url=os.getenv('CATALYST_BASE_URL')
    )
    
    tracer = Tracer(
        project_name=os.environ['PROJECT_NAME'],
        dataset_name=os.environ['DATASET_NAME'],
        tracer_type="agentic/langgraph",
    )
    
    init_tracing(catalyst=catalyst, tracer=tracer)

2. 构建研究助手工作流

案例实现了一个完整的研究工作流，包含以下关键节点：

子问题生成：将研究主题分解为具体子问题
问题研究：使用搜索工具获取每个子问题的答案
结果综合：将多个答案综合成完整报告
报告评审：对综合结果进行质量评估
报告优化：根据评审意见改进报告

# 定义状态结构
class ResearchState(TypedDict):
    topic: str  
    sub_questions: List[str]  
    answers: List[dict] 
    synthesis: str 
    criticism: str 
    iteration: Annotated[int, operator.add]  
    status: str

# 构建工作流图
workflow = StateGraph(ResearchState)
workflow.add_node("generate", generate_sub_questions)
workflow.add_node("research", research_sub_questions)
workflow.add_node("synthesize", synthesize_findings)
workflow.add_node("critique", critique_synthesis)
workflow.add_node("refine", refine_synthesis)

# 设置工作流连接
workflow.set_entry_point("generate")
workflow.add_edge("generate", "research")
workflow.add_edge("research", "synthesize")
workflow.add_edge("synthesize", "critique")
workflow.add_conditional_edges(
    "critique",
    should_refine,
    {"refine": "refine", "end": END}
)
workflow.add_edge("refine", "critique")

3. 添加追踪点

在工作流的关键节点添加追踪信息：

def generate_sub_questions(state: ResearchState) -> ResearchState:
    # 添加Span级别上下文
    current_span().add_context(f"正在为主题'{state['topic']}'生成子问题")
    
    prompt = PromptTemplate(
        input_variables=["topic"],
        template="Given the topic '{topic}', generate 3 specific sub-questions to guide research."
    )
    response = llm.invoke(prompt.format(topic=state["topic"]))
    
    # 添加性能指标
    current_span().add_metrics(name='SubQuestionsCount', score=len(response.content.split("\n")))
    
    return {"sub_questions": [q.strip() for q in response.content.split("\n") if q.strip()]}