LangSmith帮助测试大模型系统

最新推荐文章于 2025-03-26 22:34:39 发布
最新推荐文章于 2025-03-26 22:34:39 发布
阅读量502 收藏
点赞数
分类专栏： AI系统的测试入门与实践 文章标签： langchain langsmith 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/crisschan/article/details/138142333
版权
LangSmith是一款用于评估大模型系统效果的工具，它通过记录langchain的中间过程来优化提示词等。要使用LangSmith，需在平台上注册账号并创建API Key，然后在本地安装依赖并设置环境变量。LangSmith提供详细的过程数据，便于调试和测试基于LangChain的大模型应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LangSmith是评估大模型能力好坏的评估工具，能够量化评估基于大模型的系统的效果。LangSmith通过记录langchain构建的大模型应用的中间过程，从而能够更好的调整提示词等中间过程做优化。想要使用LangSmith首先进入他的设置页面，https://smith.langchain.com/settings注册一个账号，然后进入API Keys页面创建一个API Keys，我们为例后续演示，这里创建一个test_api_key名字的API Key，如下图所示。

然后我们需要在本地安装LangSmith的依赖包

pip install -U langsmith

设置完成后就可以在LangChain代码中加入LangSmith环境变量进行过程数据收集了。需要设置的环境变量有如下四个。

  • LANGCHAIN_TRACING_V2：设置LangChain是否开启日志跟踪模式。
  • LANGCHAIN_API_KEY：就是上面生成的LangSmith的key。
  • LANGCHAIN_ENDPOINT：LangSmith的收集过程数据的API地址
  • LANGCHAIN_PROJECT：是要跟踪的项目名称，如果LangSmith平台上还没有这个项目&#
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI大模型应用开发】【LangSmith: 生产级AI应用维护平台】1. 快速上手数据集与测试评估过程
同学小张的博客
02-18 1936
本文实际操作了LangSmith平台的数据集与测试评估的部分：从数据集的创建到建立自己的评估标准，再到实际运行一个测试，得到测试结果。
大模型应用开发技术：LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（三）实战代码
段智华的博客
06-19 675
LangGraph LangChain Multi Agent
开源模型应用落地-LangSmith试炼-入门初体验-数据集评估（三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-26 5870
学习Evaluate功能，评估和衡量在多样化数据上的性能和完整性
【Agent】LangSmith的配置及使用
酒酿小圆子呀～
03-21 1394
LangChain 使得原型设计大型语言模型（LLM）应用程序和代理变得容易。然而，将 LLM 应用程序交付到生产环境可能会异常困难。可能需要大量定制和迭代prompt、chain和其他组件，以创建高质量的产品。为了帮助这个过程，推出了LangSmith，一个统一的平台，用于调试、测试和监控LLM 应用程序。
使用LangSmith来快速学习LangChain
火烧径-make life easier
12-09 2973
用LangChain来完成大语言模型的应用原型/代理很简单，但是，要交付实际的大语言应用异常困难：可能要大量定制、迭代Prompt、链和其他组件。LangSmith可以帮你快速调试链、代理或者一组工具，可视化各种组件（链、llms、检索器retrievers等）如何交互及使用，评估不同的Prompts等等。
教你本地化部署与使用一款免费的LLM应用工程化平台
m0_63171455的博客
06-03 7246
平台已经就绪，现在需要让应用与Langfuse集成起来，以能够跟踪、评估与分析我们的应用。使用Langfuse的SDK/API，Langfuse能够与现有的任意应用做集成，但如果你的应用是基于LangChain、LlamaIndex这样的开发框架，那么使用起来会更加方便，这里先介绍与LangChain应用集成。随着LLM应用的不断成熟，特别是在B端企业场景中的逐渐落地，其不再停留在原型与验证阶段，将面临着更高的工程化要求，无论是输出的稳定性、性能、以及成本控制等，都需要实现真正的“生产就绪”；
【浪】LangSmith是否可替代？Langfuse VS Langsmith
longxiaotian718的博客
10-25 2907
可观测性范围图随着生成式 AI 概念的火爆，以 ChatGPT 为代表，市场上涌现了一系列商用或者开源的大模型，同时基于大语言模型以及 AI 生态技术栈构建的应用以及业务场景也越来越多，大规模的模型训练以及模型推理场景也催生了 MLOps、LLMOps 等相关的岗位需求。如何监控并保障大模型应用上线的性能以及用户体验？如何支持复杂拓扑场景下 LLM 应用领域的链路可视化分析以及根因定位？需要从成本以及效果等方面获得线上实际效果表现，辅助分析、评估以及优化迭代大语言模型等。
大模型应用开发技术：LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（二）
段智华的博客
06-19 559
LangChain+LangGraph+LangSmith接入Ernie Speed 大模型 Multi-Agent框架案例实战（二）代码实战
langsmith大模型评估
12-31
为了有效评估大模型的效果，在LangSmith平台上需先准备好测试数据集。这不仅有助于评估检索增强生成（RAG）的效果，还能够针对LangChain中的Prompt模板等环节进行全面测试评估[^1]。 #### 自动化评估流程 通过...
【自动化利器】12个评估大语言模型（LLM）质量的自动化框架
longxiaotian718的博客
10-31 1423
LLM评估是指在人工智能系统中评估和改进语言和语言模型的过程。在人工智能领域，特别是在自然语言处理（NLP）及相关领域，LLM评估具有至高无上的地位。通过生成和理解模型，LLM评估有助于细化人工智能驱动的语言相关任务和应用程序，确保在语言发挥关键作用的各种场景中增强准确性和适应性。随着大模型的版本升级和应用的持续，对大模型的评估也绝非一次性，而是需要多次迭代的过程。建立一个有效的、可持续的评估过程非常重要。
LangSmith 的使用
cheese_burger_的博客
06-19 2407
您使用 LangChain 构建的许多应用程序将包含多个步骤，并多次调用 LLM 调用。随着这些应用程序变得越来越复杂，能够检查链或代理内部究竟发生了什么变得至关重要。最好的方法是使用LangSmith。LangSmith 是一个用于构建生产级 LLM 应用程序的平台。它允许您密切监控和评估您的应用程序，以便您可以快速而自信地交付。无需使用 LangChain，即单独使用 LangSmith 可以独立运行！初始化并包装OpenAI客户端以支持自动跟踪。
【LLM大模型】LangChain框架：Hub和LangSmith入门
瓦罗兰特顶级C位的博客
07-30 2256
最开始的`LangChainHub`，类似于github一样，可以理解为`LangChain` 工具包 或者说 组件中心，里面提供了高质量的组件方便开发者使用。确确实实是一个分享和探索Prompt、链 和Agent的地方。
本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG
2301_81940605的博客
05-16 1064
本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG
使用 LangGraph 构建、部署到 LangGraph Cloud 并通过 LangGraph Studio 查看的代理进行了完整的端到端演练
php源码
07-26 1228
考虑到语言和人工智能的交汇，发展速度非常快。而 LangChain 发现自己处于塑造生成式人工智能应用程序开发和管理方式的前沿。
AI大模型探索之路-应用篇9：Langchain框架LangSmith模块-AI模型监控神器
寻道AI，探索AI无限可能！
04-12 1674
在经过前面多个篇章的学习后，我们已经了解到Langchain框架是一个为开发人员提供的全方位服务方案。从模型封装调用、提示词模板封装、Chain链式操作、检索增强，再到上线部署，它都提供了一站式解决方案。本章将重点讲解最后一个核心框架LangSmith，以补充完整最后的运维监控管理版块。
LangChain开发（四）服务监控（LangSmith、verbose、debug）
最新发布
Java全栈开发者
03-26 692
与构建任何类型的软件一样，使用LLM构建时，总会有调试的需求。模型调用可能会失败，模型输出可能格式错误，或者可能存在一些嵌套的模型调用，不清楚在哪一步出现错误的输出。标志将导致所有具有回调支持的LangChain组件(链、模型、代理、工具、检索器）打印它们接受的输入和生成的输出。标志将以稍微更易读的格式打印出输入和输出，并将跳过记录某些原始输出（例如LLM调用的令牌使用统计信息），以便可以专注于应用程序逻辑。假如有一个代理，并且希望可视化它所采取的操作和接受到的工具输出。就可上报信息到LangSm。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2603
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
Langchain的安装
m0_73665698的博客
11-09 2399
​ 登录官网，获取LangSmish的API key​ zhangzhang-ai-test的API：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。
还在困惑RAG评估？一篇文章彻底解析RAG评估工作流程！
m0_59235245的博客
08-01 895
随着AI的快速发展，开发者往往面临一个选择的悖论：如何选择正确的提示，如何权衡LLM质量与成本？评估可以通过结构化的流程来做出这些决策，从而加速开发。下面介绍如何使用LangSmith进行评估，并讨论工作流程的每一部分。在 LangSmith UI 中使用 csv 上传创建的数据集。在这里，我们确保设置了 OpenAI 和 LangSmith 的 API 密钥。指定数据集的名称。接下来，使用LangChain来创建检索器并检索相关文档。创建聊天机器人。下面介绍4 种类型的 RAG 评估。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

质问

开心就好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值