RM_Jin的博客

逻辑规则广泛用于表示领域知识和假设，这是基于符号推理的人类智能的基础。最近，已经证明，将逻辑规则集成到常规学习任务中可以以标签有效的方式进一步提高学习性能。人们已经进行了许多尝试从知识图谱（KG）中自动学习逻辑规则。然而，大多数现有方法完全依赖于观察到的规则实例来定义规则评估的评分函数，因此缺乏泛化能力并且计算效率严重低下。RLogic 没有完全依赖规则实例进行规则评估，而是定义了基于谓词表示学习的评分模型，该模型由采样的规则实例进行训练。此外，RLogic 将逻辑规则最重要的属性之一——演绎性质。

最近，大型语言模型 (LLM) 已被证明可以在各种 NLP 任务中提供令人印象深刻的性能。为了解决多步骤推理任务，少镜头思维链（CoT）提示包括一些手动制作的逐步推理演示，使法学硕士能够显式生成推理步骤并提高推理任务的准确性。为了消除手动工作，Zeroshot-CoT 将目标问题陈述与“让我们一步一步思考”连接起来，作为法学硕士的输入提示。尽管 Zero-shot-CoT 取得了成功，但它仍然存在三个缺陷：计算错误、失步错误和语义误解错误。

事实证明，开放域问答的生成模型具有竞争力，无需借助外部知识。虽然很有希望，但这种方法需要使用具有数十亿个参数的模型，而这些模型的训练和查询成本很高。在本文中，我们研究了这些模型可以从检索可能包含证据的文本段落中获益多少。我们在 Natural Questions 和 TriviaQA 开放基准测试中获得了最先进的结果。有趣的是，我们观察到当增加检索的段落数量时，该方法的性能显着提高。这证明序列到序列模型提供了一个灵活的框架，可以有效地聚合和组合来自多个段落的证据。

现有的基于知识的问题分类方法通常依赖于复杂的训练技术和模型框架，在实际应用中存在诸多局限性。最近，大型语言模型（LLM）中出现的上下文学习（ICL）功能为KBQA提供了一个简单且无需训练的语义解析范例：给定少量问题及其标记的逻辑形式作为演示示例，LLM可以理解任务意图并生成新问题的逻辑形式。然而，目前功能强大的LLM在预训练期间几乎没有暴露于逻辑形式，导致高格式错误率。为了解决这个问题，我们提出了一种代码风格的上下文学习方法的KBQA，它转换到更熟悉的代码生成过程中的LLM的不熟悉的逻辑形式的生成过程。

大型语言模型（LLM）由于其卓越的语言生成能力和极强的泛化能力而受到学术界和工业界的极大关注。然而，当前的LLM仍然会输出不可靠的内容，由于其固有的问题（例如，幻觉）。为了更好地解开这个问题，在本文中，我们进行了深入的调查，系统地探讨LLM在逻辑推理的能力。更详细地说，我们首先调查LLM在逻辑推理的不同任务上的缺陷，包括事件关系提取和演绎推理。我们的研究表明，LLM在解决具有严格推理的任务时表现不佳，甚至会产生反事实的答案，这需要我们迭代地改进。

知识图补全（KGC）旨在根据观察到的事实推断缺失的事实，这对许多下游应用程序具有重要意义。鉴于深度学习和预训练语言模型（LM）的成功，一些基于LM的方法被提出用于KGC任务。然而，它们中的大多数专注于对事实三元组的文本进行建模，而忽略了更深层次的语义信息（例如，拓扑上下文和逻辑规则），这对KG建模很重要。为此，我们提出了一个统一的框架FTL-LM来描述KGC语言模型中的拓扑上下文和逻辑规则，主要包括一种新的基于路径的拓扑上下文学习方法和一种变分期望最大化（EM）软逻辑规则提取算法。

当提示一些例子和中间步骤时，大型语言模型（LLM）在各种推理任务中表现出令人印象深刻的性能。然而，在LLM中依赖于隐式知识的提示方法，在隐式知识是错误的或与任务不一致时，经常产生不正确的答案。为了解决这个问题，我们提出了假设到理论（HtT），一个框架，学习规则库与LLM推理。HtT包含两个阶段，归纳阶段和演绎阶段。在归纳阶段，LLM首先被要求在一组训练示例上生成和验证规则。规则出现并导致正确答案足够频繁地被收集以形成规则库。在推理阶段，提示LLM使用学习的规则库来执行推理以回答测试问题。

基于知识的问答（KBQA）旨在从大规模知识库（KBs）中获得自然语言问题的答案，通常分为两个研究部分：知识检索和语义分析。然而，三个核心的挑战仍然存在，包括低效的知识检索，检索错误的语义分析产生不利影响，和以前的KBQA方法的复杂性。在大型语言模型（LLM）时代，我们引入了ChatKBQA，这是一种基于Llama-2，ChatGLM 2和Baichuan 2等开源LLM微调的新型生成然后检索KBQA框架。

现代的多跳问题回答（QA）系统通常将问题分解为一系列推理步骤，称为思维链（CoT），然后才得出最终答案。通常会对多个链进行采样，并通过对最终答案进行投票机制进行聚合，但中间步骤本身被丢弃。尽管这样的方法提高了性能，但它们不考虑链之间的中间步骤关系，并且不提供预测答案的统一解释。我们引入了多链推理（MCR），一种方法，它引导大型语言模型对多个思维链进行元推理，而不是聚合它们的答案。MCR检查不同的推理链，在它们之间混合信息，并选择生成解释和预测答案中最相关的事实。MCR在7个多跳QA数据集上优于强基线模型。

在大型语言模型中，生成看似正确但实际上是错误的事实信息，即所谓的幻觉，是一个尚未解决的问题。本文研究了语言模型在给出回答时进行自我纠正的能力。开发了一种称为“验证链”（COVE）的方法，通过该方法，模型首先（i）起草一个初始回答；（ii）计划验证问题，对其起草的回答进行事实核查；（iii）独立回答这些问题，以避免答案受其他回答的偏见影响（iv）生成经过验证的最终回答。

大型语言模型（Large LMs）容易产生包含虚构内容的文本。其中一个重要问题是自相矛盾，即LM在同一上下文中生成两个相互矛盾的句子。在这项工作中，对各种经过指导的LM进行了全面的自相矛盾调查，包括评估、检测和缓解。揭示了当LM为开放领域的主题生成文本时，自相矛盾的普遍性，例如ChatGPT生成的所有句子中有17.7%存在自相矛盾。自相矛盾还可以作为基于检索的方法的补充，因为其中有很大一部分（例如ChatGPT的35.8%）无法通过维基百科进行验证。

大型语言模型（LLM）在自然语言处理领域展现出了令人印象深刻的影响，但它们仍然在几个方面存在问题，例如完整性、及时性、忠实度和适应性。尽管最近的研究工作集中在将LLM与外部知识源进行连接，但知识库（KB）的整合仍然研究不足且面临多个挑战。本文介绍了KnowledGPT，这是一个全面的框架，用于将LLM与各种知识库连接起来，促进知识的检索和存储。检索过程采用了思维启发程序，它以代码格式生成用于KB的搜索语言，并具有预定义的KB操作功能。

最近，语言模型在各种任务中展现出的令人印象深刻的性能表现，表明它们具备一定程度的抽象推理能力。这些能力是通用且可转移的，还是专门用于预训练期间接触到的特定任务？为了解开这些效应，本提出了一种基于"反事实"任务变体的评估框架，这些变体偏离了标准任务的默认假设。在11个任务的一系列测试中，观察到对于反事实变体的表现具有一定的非平凡性，但与默认条件相比，性能明显而一致地下降。这表明，尽管当前的语言模型在一定程度上具备抽象任务解决能力，但它们通常也依赖于狭窄的、不可转移的任务解决程序。

大语言模型（LLMs）在各个领域的广泛应用引起了人们对“幻觉”问题的关注，即LLMs生成事实不准确或无依据的信息。现有的语言助手中的幻觉检测技术依赖于复杂的不确定性、特定的自由语言思维链（CoT）技术或基于参数的方法，存在解释性问题。此外，针对生成后识别幻觉的方法无法防止其发生，并且由于指令格式和模型风格的影响，性能不一致。本文介绍了一种新颖的预检测自我评估技术，称为SELF-FAMILIARITY，重点评估模型对输入指令中存在的概念的熟悉程度，并在遇到不熟悉的概念时不生成响应。

尽管大型语言模型（LLM）具有很强的功能，但它们容易产生幻觉，即生成与预训练期间观察到的事实偏离的内容。本文提出了一种简单的解码策略，用于减少预训练的LLM中的幻觉，该策略不需要依赖检索的外部知识或额外的微调。本方法通过对比从较高层和较低层投影到词汇空间所得到的logits之间的差异来获得下一个token的分布，利用了LLM中事实知识通常局限于特定的Transformer层的事实。这种 对比层解码（DoLa）的方法能够更好地表现出事实知识，并减少生成不正确事实的情况。

在知识图谱上进行推理是一项具有挑战性的任务，这需要深度理解实体之间复杂的关系和它们关系的逻辑。而当前的方法通常依赖于学习几何形状以将实体嵌入到向量空间中进行逻辑查询操作，但在复杂查询和特定数据集表示方面表现不佳。几何形状通常指的是将实体或关系映射到向量空间时所使用的几何结构或形状。几何形状嵌入方法通过学习实体和关系之间的几何关系，将它们映射到向量空间中的几何形状。这些几何形状可以是点、线、曲线等，它们在向量空间中的位置和距离可以反映实体和关系在知识图谱中的语义关系。本文提出了一种新的。

近年来，围绕图卷积网络（GCN）这一主题出现了大量的文献。如何有效地利用复杂图中丰富的结构信息（例如具有heterogeneous types of entities and relations(异构实体和关系类型)的知识图谱）是该领域的主要公开挑战。大多数GCN方法要么局限于同质边类型（Homogeneous type of edges）（例如，仅引用链接），要么只关注节点的表示学习，而不是联合传播和更新节点和边的嵌入以实现目标驱动目标。

在大规模不完全知识图谱上回答复杂的逻辑查询是一项基础性但具有挑战性的任务。最近，一种解决这个问题的很有前途的方法是将KG实体和查询嵌入到向量空间中，这样回答查询的实体紧密嵌入在查询附近。然而，先前的工作将查询建模为向量空间中的单点，这是有问题的，因为复杂的查询表示其答案实体的潜在大集合，但尚不清楚如何将这样的集合表示为单点。此外先前工作只能处理使用连词（∧）和存在量词（ ∃ ）的查询。处理具有逻辑或（∨）的查询仍然是一个悬而未决的问题。将查询建模为向量空间中的单点意味着将查询表示为向量空间中的一个点。

同时，知识向量的生成也可以利用语义嵌入的思想，通过学习实体和关系的向量表示来捕捉它们之间的语义关联。例如，在知识图谱中，可以使用嵌入向量将实体和关系映射到向量空间中，并利用向量的距离和方向来推断实体之间的关系。同时，知识向量的生成也可以受到嵌入向量的影响，通过在训练过程中使用嵌入向量的语义信息来提高知识向量的表示能力和语义关联性。可以看到，嵌入向量和知识向量都是将语义信息表示为向量的方法，目标是捕捉和表示语义的相似性和关联性。而知识向量是一种将知识表示为向量的方法，用于捕捉实体之间的语义关联和语义相似性。

知识图推理旨在从已有的知识中推断出新的事实。基于关系路径的方法在文献中显示出较强的可解释性和归纳推理能力。然而，在KG中捕获复杂拓扑(Capturing complex topology)时，路径是有限的。本文引入了一种新的关系结构，即由重叠关系路径组成的关系有向图（r-digraph）来捕获KG的结构信息。由于有向图表现出比路径更复杂的结构，因此在r-digraph上构建和学习是具有挑战性的。在这里，我们提出了一种图神经网络，即RED-GNN，通过使用GNN的变体学习关系有向图来解决上述挑战。

实体对齐是在不同知识图之间集成异构知识的一种可行方法。该领域的最新发展通常采用基于嵌入的方法来对KGs的结构信息建模，从而可以在嵌入空间中进行实体对齐。然而，大多数现有工作并没有明确利用有用的关系表示来辅助实体对齐，正如我们将在文中展示的那样，这是改进实体对齐的一种简单而有效的方法。本文提出了一种新的实体对齐联合学习框架。我们方法的核心是一个基于图卷积网络（GCN）的框架，用于学习实体表示和关系表示。而不是依赖于预先对齐的关系种子来学习关系表示。我们首先使用GCN引导的实体嵌入来近似它们。

常识推理旨在使机器具备人类对日常生活中的普通情况做出假设的能力。在本文中，我们提出了一个用于回答常识性问题的文本推理框架，该框架有效地利用外部的、结构化的常识知识图谱来进行可解释的推理。外部知识图谱是指与原始知识图谱不同的知识库，它们可能来自于不同的领域、不同的语言或者不同的数据源。常见的外部知识图谱包括维基百科、Freebase、YAGO等。这些外部知识图谱可以通过API、SPARQL查询等方式访问和获取，从中提取相关信息用于知识库的构建和扩展。

我们提出了一种新的基于的知识图谱自动推理方法。其主要思想是将三重分类任务定义为两个强化学习主体之间的辩论游戏，这两个主体提取论点（知识图中的路径），目的是分别促进事实为真（命题）或事实为假（对立面）。基于这些论点，一个二元分类器（称为裁判）决定事实是真是假。这两个代理可以被认为是稀疏的。对抗性特征生成器(Adversarial Feature Generator)，为正题或反题提供可解释的证据。与其他黑盒方法相比，这些论点允许用户了解法官的决定。

零样本信息提取（IE）旨在从未注释的文本中构建IE系统。由于很少涉及人类干预，因此具有挑战性。零样本IE减少了数据标记所需的时间和工作量。最近对大型语言模型（LLMs，GFI-3，ChatGPT）的研究在零样本设置下显示出了良好的性能，从而激励我们研究基于提示的方法。在这项工作中，我们询问是否可以通过直接提示LLM来构建强IE模型。具体来说，我们将零样本IE任务转换为多轮问题解答问题，使用两阶段框架（ChatIE）。

知识图谱是一种普遍存在的数据结构，已被应用于许多领域。知识图谱推理是根据知识图谱中已有的信息发现或推断知识。然而，大多数现有的工作都属于point-wise方法，这些方法对一条线索执行推理。point-wise是一种常见的评估和处理文本数据的方法。Point-wise方法将文本数据转化为单个数据点的形式进行处理和评估。在文本分类任务中，point-wise方法将每个文本样本视为一个独立的数据点，并为每个数据点分配一个标签或分数。

知识图谱（KG）推理已经被广泛探索，它可以为不完整的KG预测缺失的事实。然而，预测未来事实的的推理仍然远未解决。预测未来事实的关键是彻底了解历史事实。Temporal KG（TKG）时态知识图谱是一种扩展了传统知识图谱的数据表示形式，用于描述实体、关系和事件之间的时态关系。传统知识图谱主要关注实体之间的静态关系，而时态知识知识图谱则引入了时间维度，可以描述实体和关系在不同时间点上的变化和演化。它记录了实体和关系的创建时间、失效时间、持续时间等信息，以及它们之间的时间相关性。

本文研究了在知识图谱上进行推理的学习逻辑规则。逻辑规则用于预测时提供了可解释性并且可以推广到其他任务中，因此对于学习而言至关重要。现存的方法要么存在在大搜索空间中搜索的问题，要么由于稀疏奖励（sparse reward）而导致无效化。sparse reward 稀疏奖励指在强化学习中，奖励信号的反馈非常有限或稀疏的情况。在某些任务中，只有在完整的任务或达到特定目标时，才会给予奖励，而在中间阶段很少或几乎没有奖励信号。

语言模型正在迅速成为一般问题解决的部署，但在推理过程中仍然局限于标记级别（token-level），在推理中从左到右做出决定的过程。这意味着语言模型有许多缺陷，在需要探究的任务，需要战略展望的任务，或者初始决定有着重要意义的任务。token-Level是指以token为单位进行处理和分析的级别。一个token可以是一个单词，一个字符，一个标点符号或者是一个子词，具体取决于所使用的tokenization方法和任务的要求。

本篇论文提出了一种新的编码策略——自洽性，来替换思维链中使用的贪婪解码（Naive greedy decoding）。Naive greedy decoding一种简单而直接的解码方式，常用于生成型任务。在这种解码方法中，模型会根据当前的输入和已生成的部分输出，选择概率最高的下一个单词或符号作为预测结果。换句话说，它总是选择当前最可能的输出，而不考虑后续可能的选择。虽然简单，但可能会导致生成的结果缺乏多样性，因为只关注当前可能的选项，而忽略了其他可能的选择。

LLMs可以通过产生中间推理步骤，执行复杂的推理。提供这些提示演示的步骤称为思维链提示。CoT提示有两种主要的范式：一种是利用一种简单的提示，如：let’s think step by step 以便在回答问题之前循序渐进的思考。另一种是使用少量一个接一个的手动演示，每一条手动演示都是由一个问题和一个能够产生答案的推理链组成。我们表明，利用LLMs和let’s think step by step用于生成逐一演示的推理链可以消除这种手动工作。但是产生的推理链可能会出错。

基于BERT模型的孪生网络结构，Siamese 一词表示网络结构共享参数和权重。Siamese BERT常用于处理文本相似度任务，如句子对匹配、问答系统等。它通过两个输入句子分别输入到两个共享参数的BERT模型中，获取句子的语义表示。然后，通过对比两个句子的语义表示，可以计算他们之间的相似度或者相关性。基本思想是通过通过共享参数的BERT模型来学习句子的语义表示，使得相似的句子在语义空间中更接近，不相似的句子则更远离。