Discovery of the Hidden World with Large Language Models

本文是LLM系列文章，针对《Discovery of the Hidden World with Large Language Models》的翻译。

摘要

科学源于从已知事实和观察结果的结合中发现新的因果知识。传统的因果关系发现方法主要依靠高质量的测量变量，通常由人类专家给出，来发现因果关系。然而，因果变量在广泛的现实世界应用中通常是不可用的。大型语言模型（LLM）的兴起为从世界的大规模观测中学习丰富的知识提供了一个新的机会，有助于从原始观测数据中发现高水平的隐藏变量。因此，我们引入了COAT：因果关系表征助理。COAT将LLM作为一个因素提出者，从非结构化数据中提取潜在的因果因素。此外，LLM还可以被指示提供用于收集数据值（例如，注释标准）的附加信息，并进一步将原始非结构化数据解析为结构化数据。带注释的数据将被馈送到因果学习模块（例如，FCI算法），该模块提供对数据的严格解释以及有用的反馈，以进一步改进LLM对因果因素的提取。我们通过两个案例研究，即审查评级分析和神经病理性诊断，验证了COAT在揭示潜在因果系统方面的有效性。

1 引言

2 相关工作

3 LLM的因果发现

4 COAT中反馈驱动因果发现的分析与讨论

5 具有现实基准的实证研究

6 结论

在这项工作中，我们提出了一个名为COAT的新框架，旨在利用LLM学到的丰富知识，促进从非结构化数据中发现因果关系。具体而言，COAT仅使用LLM从非结构化数据中提出潜在的因果因素。为了确保可靠性，COAT还采用了因果发现算法来审计所提出的因素，