langsmith功能总结

原创

已于 2023-11-15 20:44:17 修改 · 2.6k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#python #langchain

于 2023-11-15 20:43:35 首次发布

Langsmith是一个集追踪、调试、测试和评价于一体的平台，特别服务于LLM应用开发者和数据工程师。它提供Tracing和Debugging功能，包括ViewRuns树状视图和ShareRun分享功能，以及数据集管理、导入导出和模型评估工具。OpenAI集成和参数调整也是一大亮点。

langsmith功能总结

1、平台基础功能

Tracing（追踪）
Debugging（调试）
Testing（测试）
Evaluation（评价）
Langchain Hub

（1）Tracing＆Debugging功能（最核心模块—服务于LLM应用开发者）

View Runs＆Trees：将每次大模型的运行结果通过树状图的形式呈现（呈现部分：Chain、Tool、Retriever、Prompt、LLM、Parser等）
Share Run：将运行的结果展示，便于公共开发
Run Playground（调试功能）：在线上平台，在线完成对Prompt与LLM（Model）的调试
- 在线上完成LLM的参数调整如：Input、Prompt、Model等
- 在Langsmith线上界面即可完成实时的运行
Upsert Dataset：将大语言模型此次的运行的输入与输出存储到Dataset中
演示代码
下面展示一些 内联代码片。

from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from langchain.chains import SimpleSequentialChain
import os

# langsmith代理
os.environ