prompt优化实践

 记录一次prompt优化过程

1.先写一个简单的prompt---big things has small beginning

    text = """
  原凭证号|税种|品目名称|税款所属时期|实缴金额 \n
  3111222|增值税|建筑服务|2020|48920000.12
    """
    prompt = (f"```问题:供应商是否有依法缴纳税收和社会保障资金的良好记录？```"
              f"你的任务是读取并理解下面的文章并回答上面的问题"
              f"文章:```{text}```")

LLM回答

根据提供的文章内容，可以确认该供应商在至少一个实例中（税款所属时期为2020年）依法缴纳了增值税，
税种为“增值税”，品目名称为“建筑服务”，实缴金额为48,920,000.12元。
这表明该供应商在所述期间内有依法缴纳税收的记录。
然而，文章中没有直接提及社会保障资金的缴纳情况，
因此无法根据现有信息判断供应商在社会保障资金缴纳方面的记录是否良好。
需要更多关于社会保障资金缴纳的信息来完全回答这个问题。

2.问题

这里的回答不台符合我们的预期

第一：太长，没法看

第二：格式不好，不利于阅读

第三：回答不明确

预期是得到一个明确的是否答案，并包含该答案的判断依据，尽量的简洁明了

3.优化1--简单的把我们的要求加进去

    prompt = (f"```问题:供应商是否有依法缴纳税收和社会保障资金的良好记录？```"
              f"你的任务是读取并理解下面的文章并回答上面的问题，请简洁明了的回答，并附有判断依据"
              f"文章:```{text}```")

回答

供应商具有依法缴纳税收的良好记录。
判断依据是提供了具体的税种（增值税）、品目名称（建筑服务）、税款所属时期（2020年）及实缴金额（48920000.12元），
这表明供应商有实际缴纳增值税的记录。
但该信息未提及社会保障资金缴纳情况，故无法判断其在社会保障资金方面的记录。

回答有所精简、答案也能明确，但是输出格式依然不友好

4.优化2---step by step还是好用

    prompt = (f"```问题:供应商是否有依法缴纳税收和社会保障资金的良好记录？```"
              f"你的任务是读取并理解下面的文章并回答上面的问题。"
              f"1.分析问题中有几个检查项"
              f"2.根据不同的检查项去文章中找到对应的内容"
              f"3.按检查项回答问题"
              f"文章:```{text}```")

回答

1. 问题中有两个检查项：依法缴纳税收和社会保障资金。

2. 文章内容只涉及税收方面，特别是提到了增值税的缴纳情况，但没有提及社会保障资金的缴纳情况。

3. 根据文章内容回答问题：
   - 依法缴纳税收：是。文章提供的信息表明供应商在2020年对建筑服务的增值税有实缴记录，金额为48,920,000.12元。
   - 社会保障资金的良好记录：无法确定。文章中没有提供关于供应商缴纳社会保障资金的信息。

这里回答比较符合我们的要求，但是多了1和2的内容

5.优化3---注意反向优化

    prompt = (f"```问题:供应商是否有依法缴纳税收和社会保障资金的良好记录？```"
              f"你的任务是读取并理解下面的文章并回答上面的问题。"
              f"1.分析问题中有几个检查项"
              f"2.根据不同的检查项去文章中找到对应的内容"
              f"3.按检查项回答问题"
              f"请只输出最后的判断结果，不需要中间的推理过程"
              f"文章:```{text}```")

回答

根据提供的文章内容，无法完整回答关于供应商是否有依法缴纳税收和社会保障资金的良好记录的问题，
因为文章中仅提及了增值税的缴纳情况，没有涉及其他税种以及社会保障资金的缴纳信息。
因此，无法做出全面的判断。

反向优化了！！！

6.优化4---再优化回来

这里判断 优化3中的 不需要推理过程 起到了反向优化的作用。还是需要让模型去思考。

    prompt = (f"```问题:供应商是否有依法缴纳税收和社会保障资金的良好记录？```"
              f"你的任务是读取并理解下面的文章并回答上面的问题。"
              f"1.分析问题中有几个检查项"
              f"2.根据不同的检查项去文章中找到对应的内容"
              f"3.按检查项回答问题"
              f"请只输出最后的判断结果"
              f"文章:```{text}```")

回答

1. 问题中包含的检查项有：依法缴纳税收和社会保障资金。
2. 文章内容仅涉及税收中的一个例子，即增值税的缴纳情况，没有提及社会保障资金的缴纳情况。
3. 判断结果：
   - 依法缴纳税收：是（依据文章中提供的增值税实缴金额信息）
   - 社会保障资金的良好记录：未知（文章未提供相关信息）

回答更简洁，但是1和2还是没有去掉

7.优化5--调整内容分解，增加输出格式

猜测 1.2.3中的推理内容和下面的内容分界不明显，导致1.2的内容没去掉

再prompt中调整顺序，并增加输出格式的要求

    prompt = (f"```问题:供应商是否有依法缴纳税收和社会保障资金的良好记录？```"
              f"你的任务是读取并理解下面的文章并回答上面的问题。"
              f"1.分析问题中有几个检查项"
              f"2.根据不同的检查项去文章中找到对应的内容"
              f"3.按检查项回答问题"
              f"文章:```{text}```"
              f"输出格式为："
              f"1.检查项1：xx，检查结果：xx，依据：xxx")

回答

1. 检查项1：依法缴纳增值税，检查结果：是，依据：文中显示有增值税的实缴记录，税款所属时期为2020年，实缴金额为48920000.12元。
2. 检查项2：依法缴纳社会保障资金，检查结果：未提及，依据：文章中没有提供关于社会保障资金缴纳的信息。

这个结果比较符合我们的预期

后续

修改为json格式的返回