Kaki的博客

理解：仍然不清楚为什么思维链会起作用以及怎么产生的，更多的是直觉上的因为有了中间的推理步骤以及大模型的涌现作用。由于scaling law的存在，大家不断地增加大模型的size，进而提高大模型的性能表现。然而在复杂的推理问题上，仅仅提高大模型的size不能完全的解决问题。消融实验指的是评估某个系统的不同组件对整体性能的影响时，通过逐步移除某些组件，进而研究不同组件对于整个系统的影响。2）传统的小样本的学习方法在推理能力上表现不是很好，而且随着语言规模的增加，性能提升不显著。