文献阅读：Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communicat

• 文献阅读：Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication
  • 1. 文章简介
  • 2. 方法介绍
    • 1. 交流范式
      • 1. Memory
      • 2. Report
      • 3. Relay
      • 4. Debate
    • 2. 终止条件
    • 3. 置信度评估
  • 3. 实验考察 & 结论
    • 1. 实验设计
    • 2. 基础实验结果
    • 3. 细节讨论 & 分析
      • 1. 不同communication范式的影响
      • 2. 不同终止条件的情况对回答效果的影响
      • 3. 置信度评估
      • 4. 迭代轮次分析
      • 5. 调用成本考察
      • 6. 不同大模型下的泛化性
      • 7. 不同节点模型的影响
  • 4. 总结 & 思考

• 文献链接：https://arxiv.org/abs/2312.01823

1. 文章简介

这篇文章是23年12月复旦发表的一篇关于prompt tuning的文章。

文中作为主要参照的Prompt Tuning的方法主要是CoT（Chain of Thought）以及SC（Self-Correction），前者主要是通过将问题拆解为多个中间问题进行逐一回答，后者则是通过反复迭代检查纠正自身的回答来获得一个经过反复检查的可靠回答。

但尽管如此，模型依然在某些问题上会出现错误地回答，不过纵使如此，文中发现，如下图所示，如果增加temperature然后让模型多次回答，模型还是有较大的可能性可以回答出正确答案的。

因此，文中提出了一个Exchange of Thought（EoT）的方法，具体思路上来说有点类似于ensemble方法，就是让模型进行多次独立回答，然后尝试从各个回答当中有效的挑选出最好的回答进行输出。

具体到实现上，让多个模型进行多次独立生成，然后将各自的输出结果进行整合拼接之后交给模型重新进行分析思考，然后生成各自去生成下一轮的回答，最终输出一个稳定且统一的回答。

上图就是EoT的一个整体的示意图，可以看到，相较于CoT的拆解式Reasoning，以及SC的迭代检查自己的answer，EoT主要还是让不同的模型独立回答，然后交流