Json格式few-show prompt template报错问题

想要对json格式的输出添加一些example,类似这样。

CHAT_SELF_RAG_USER_TEMPLATE = """
请基于上下文检索片段以及联网搜索结果来回答用户问题。
天气、新闻等与时效相关的信息优先使用联网结果,知识类、种草类优先使用检索文本。
使用帖子信息时:
把参考的帖子ID和回复文本一起按照要求的json格式输出。确保输出是json格式。
回答问题时,尽量尊重参考内容,引用参考内容观点,例如:ta们说:xxx,回复文本不要出现帖子id。
例如:
{
   "content":"ta们说:木屋烧烤的烤串很赞,服务也很不错,价格也便宜,推荐给大家。",
   "referencePostIds":["123456789"]
}

使用联网搜索结果时:
结合联网搜索内容,回答用户疑问。直接回复内容就好,参考帖子ID不用填内容。

如果不知道答案,则作为普通闲聊指令。

参考的帖子内容是:
{context}

参考的联网搜索结果是:
{search_content}

{format_instructions}

用户输入:{question}
"""

但是运行时报错,会提示找不到key “content”,原因是PromptTemplate会错误的把json示例中的内容也当做需填充内容。

修复方案

将所有{ }额外多写一个,以绕过这个规则。修改后如下:

CHAT_SELF_RAG_USER_TEMPLATE = """
请基于上下文检索片段以及联网搜索结果来回答用户问题。
天气、新闻等与时效相关的信息优先使用联网结果,知识类、种草类优先使用检索文本。
使用帖子信息时:
把参考的帖子ID和回复文本一起按照要求的json格式输出。确保输出是json格式。
回答问题时,尽量尊重参考内容,引用参考内容观点,例如:ta们说:xxx,回复文本不要出现帖子id。
例如:
{{
   "content":"ta们说:木屋烧烤的烤串很赞,服务也很不错,价格也便宜,推荐给大家。",
   "referencePostIds":["123456789"]
}}

使用联网搜索结果时:
结合联网搜索内容,回答用户疑问。直接回复内容就好,参考帖子ID不用填内容。

如果不知道答案,则作为普通闲聊指令。

参考的帖子内容是:
{context}

参考的联网搜索结果是:
{search_content}

{format_instructions}

用户输入:{question}
"""
实验一:提示工程 提示工程是一种通过优化输入提示(Prompt)来提升大语言模型输出质量 的技术方法。在不修改模型参数的情况下,仅依靠合理设计指令模板(Prompt Template),即可显著影响模型在特定任务上的表现。本实验以 ChatGLM4-9B 模型为基础,利用中国移动客服对话数据集(CMCC-34)开展分类任务的提示 优化实验,探索不同提示模板对模型分类性能的影响。 根据给定数据集(test_new_1.csv)完成分类任务: 1、设计并测试两种不同的提示模板——零样本(0-shot)和少样本 (few-shot),模型需根据输入的对话内容输出三种业务类别之一(办理、投 诉、咨询)。 2、编写自动化脚本,循环调用模型完成测试集的分类预测,并按照 kaggle 上的要求,将测试集的分类结果保存为 csv 文件。 3、提交到 kaggle 上,系统会自动获取得分并进行班内排名,可在排行榜 查看排名。 提交网址为:https://www.kaggle.com/competitions/llmprompt 本实验中,我们提供两类提示的基线准确率(ACC)作为参考:零样本基线 准确率为 69.27%,少样本基线准确率为 69.53%。 评估指标采用 Accuracy(准确率)(从 0 到 1,值越接近 1 表示模型性能 越好),表示模型预测正确的样本占总样本的比例,用于衡量整体分类性能。 实验二、微调 大模型微调(Fine-tuning)是通过在下游任务数据上对预训练模型进行再 训练,使其更好地适应特定任务需求的一种方法。相比从零开始训练模型,微调 能 在 保 持 原 有 知 识 的 基 础 上 , 实 现 更 高 效 的 迁 移 学 习 。 本 实 验 基 于 ChatGLM4-9B 模型,采用 Lora 微调技术,对模型进行优化,使其更好地完成 中国移动客服业务分类任务。 根据给定数据集(train_new_1.csv、dev_new.csv、test_new_1.csv)完 成微调与评估任务: 1、使用零样本提示模板,对 ChatGLM4-9B 进行 Lora 微调。 2、通过调整参数(如 lora_r、lora_alpha、lora_dropout 等),平衡模 型性能与资源开销。 3、使用验证集评估模型效果,并用微调后的大模型完成测试集的分类预测, 按要求保存为 csv 文件,提交到 kaggle 上面。 提交网址为:https://www.kaggle.com/competitions/lo-ra 本实验中,我们提供的基线准确率(ACC)为 59.97%,可作为后续模型性 能的基础参考。 这train_new_1.csv、dev_new.csv、test_new_1.csv三个文件在上方提供,请给出实验二的完整代码
11-23
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值