Analyzing Large language models chatbots: An experimental approach using a probability test

本文是LLM系列文章，针对《Analyzing Large language models chatbots: An experimental approach using a probability test》的翻译。

摘要

本研究由定性实证研究组成，通过对两种不同的大型语言模型 (LLM) 聊天机器人（ChatGPT 和 Gemini）进行探索性测试来进行。方法程序涉及基于概率问题设计的提示的探索性测试。认知心理学中广泛认可的“琳达问题”被用作创建测试的基础，同时还专门为此实验开发了一个新问题“玛丽问题”。分析的对象是包含每个聊天机器人交互提供的输出的数据集。分析的目的是验证聊天机器人是否主要采用符合概率论的逻辑推理，或者它们是否更频繁地受到提示中刻板文本描述的影响。研究结果提供了有关每个聊天机器人在处理逻辑和文本结构时所采用的方法的见解，表明虽然所分析的聊天机器人在众所周知的概率问题上表现令人满意，但它们在需要直接应用概率逻辑的新测试中表现出明显较低的性能。

1 引言

2 理论和相关工作

3 方法

4 结果和讨论

5 最后的考虑