RagaAI Catalyst 快速入门指南：从安装到评估全流程解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00608/article/details/148375889

RagaAI Catalyst 快速入门指南：从安装到评估全流程解析

RagaAI-Catalyst Python SDK for Agent AI Observability, Monitoring and Evaluation Framework. Includes features like agent, llm and tools tracing, debugging multi-agentic system, self-hosted dashboard and advanced analytics with timeline and execution graph view 项目地址: https://gitcode.com/gh_mirrors/ra/RagaAI-Catalyst

前言

RagaAI Catalyst 是一个强大的AI应用开发和评估平台，专为构建、追踪和优化AI应用而设计。本文将详细介绍如何快速上手使用RagaAI Catalyst，包括环境配置、项目创建、数据追踪以及评估框架等核心功能。

环境安装与配置

安装RagaAI Catalyst

安装过程非常简单，只需执行以下pip命令：

pip install ragaai-catalyst

这个命令会安装最新版本的RagaAI Catalyst SDK及其所有依赖项。建议在虚拟环境中进行安装以避免与其他项目的依赖冲突。

认证密钥设置

要使用RagaAI Catalyst，您需要配置认证密钥：

登录RagaAI Catalyst平台获取API密钥
在个人资料的"认证"部分生成新的访问密钥和密钥
在代码中初始化SDK：

from ragaai_catalyst import RagaAICatalyst

catalyst = RagaAICatalyst(
    access_key="您的访问密钥",
    secret_key="您的密钥",
    base_url="平台基础URL"  
)

项目创建与管理

创建新项目

RagaAI Catalyst支持多种AI用例，包括问答系统、聊天机器人等。创建项目时需指定项目名称和用例类型：

project = catalyst.create_project(
    project_name="我的AI项目",
    usecase="Q/A"  # 可选：Chatbot, Q/A, Others, Agentic Application
)

数据集管理

数据集是AI项目的基础，RagaAI Catalyst支持从多种数据源创建数据集：

from ragaai_catalyst import Dataset

dataset_manager = Dataset(project_name="我的AI项目")

# 从CSV创建数据集
dataset_manager.create_from_csv(
    csv_path="数据文件路径.csv",
    dataset_name="我的数据集",
    schema_mapping={
        '问题列': 'prompt',
        '回答列': 'response'
    }
)

应用追踪功能

自动追踪

RagaAI Catalyst提供了自动追踪功能，支持多种AI框架：

from ragaai_catalyst import init_tracing, Tracer

tracer = Tracer(
    project_name="我的AI项目",
    dataset_name="追踪数据集",
    tracer_type="agentic/langchain"  # 支持多种框架
)

init_tracing(catalyst=catalyst, tracer=tracer)

支持的框架类型包括：

LangChain
LangGraph
SmolAgents
OpenAI Agents
LlamaIndex
Haystack

自定义追踪

对于需要更精细控制的场景，可以使用自定义追踪：

with tracer():
    # 需要追踪的代码块
    pass

# 或者手动控制
tracer.start()
# 执行操作
tracer.stop()

评估框架

RagaAI Catalyst内置了强大的评估功能，可以量化AI应用的表现：

from ragaai_catalyst import Evaluation

evaluation = Evaluation(
    project_name="我的AI项目",
    dataset_name="评估数据集"
)

schema_mapping = {
    'Query': 'prompt',
    'response': 'response',
    'Context': 'context',
    'expectedResponse': 'expected_response'
}

evaluation.add_metrics([
    {
        "name": "Faithfulness",  # 评估指标名称
        "config": {
            "model": "gpt-4o-mini",
            "provider": "openai",
            "threshold": {"gte": 0.23}
        },
        "column_name": "Faithfulness_v1",
        "schema_mapping": schema_mapping
    }
])

# 获取评估结果
print(evaluation.get_results())