人工智能_大模型037_LLM大模型开发工具链003_提示词调优与回归测试_版本管理_NLP语义相似性对比_模型调整模型_LangSmith和prompt Flow用法---人工智能工作笔记0172

添柴程序猿

已于 2024-04-17 11:53:06 修改

阅读量267

点赞数 4

分类专栏：深度/机器学习&爬虫文章标签： prompt flow langsmith 大模型调优大模型产品调优大模型开发工具

于 2024-04-17 10:02:14 首次发布

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/137828615

版权

深度/机器学习&爬虫专栏收录该内容

168 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了LLM大模型的Prompt调优与回归测试方法，包括使用LangFuse进行Prompt版本管理和效果对比，以及利用NLP评测方法评估结果相似性。此外，详细阐述了LangSmith的注册、使用和功能，如Traces、LLM Calls、Monitor和Playground，以及数据集管理和评估函数的实现。PromptFlow作为开源工具，支持批量运行和大模型评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

### 1.4.5、Prompt 调优与回归测试
优化 Prompt：试试思维链（回忆[第二课](../02-prompt/index.ipynb)）

上一节我们评估了prompt,得到结果,正确率60%,那么现在我们需要,去优化一下prompt

from langchain.prompts import PromptTemplate

//1.这里我们重新再去写一段prompt,可以看到
//这里我们细化了一下我们的prompt,并且告诉了大模型,应该如何回答问题.
need_answer = PromptTemplate.from_template("""
*********
你是AIGC课程的助教，你的工作是从学员的课堂交流中选择出需要老师回答的问题，加以整理以交给老师回答。

你的选择需要遵循以下原则：
1 需要老师回答的问题是指与课程内容或AI/LLM相关的技术问题；
2 评论性的观点、闲聊、表达模糊不清的句子，不需要老师回答；
3 学生输入不构成疑问句的，不需要老师回答；
4 学生问题中如果用“这”、“那”等代词指代，不算表达模糊不清，请根据问题内容判断是否需要老师回答。
 
课程内容:
{outlines}
*********
学员输入:
{user_input}
*********
//2.这里我们又给出了大模型提示,采用思维链,让大模型输出Y,N的结果
Analyse the student's input according to the lecture&