<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[RM_Jin的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/RM_Jin</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; RM_Jin]]></copyright><item><title><![CDATA[Rlogic：从知识图谱中递归逻辑规则学习12.17]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/135042564</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/135042564</guid><author>RM_Jin</author><pubDate>Sun, 17 Dec 2023 15:51:30 +0800</pubDate><description><![CDATA[逻辑规则广泛用于表示领域知识和假设，这是基于符号推理的人类智能的基础。最近，已经证明，将逻辑规则集成到常规学习任务中可以以标签有效的方式进一步提高学习性能。人们已经进行了许多尝试从知识图谱（KG）中自动学习逻辑规则。然而，大多数现有方法完全依赖于观察到的规则实例来定义规则评估的评分函数，因此缺乏泛化能力并且计算效率严重低下。RLogic 没有完全依赖规则实例进行规则评估，而是定义了基于谓词表示学习的评分模型，该模型由采样的规则实例进行训练。此外，RLogic 将逻辑规则最重要的属性之一——演绎性质。]]></description><category></category></item><item><title><![CDATA[计划和解决提示：通过大型语言模型改进零样本思维链推理12.9]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134891598</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134891598</guid><author>RM_Jin</author><pubDate>Sat, 09 Dec 2023 11:06:19 +0800</pubDate><description><![CDATA[最近，大型语言模型 (LLM) 已被证明可以在各种 NLP 任务中提供令人印象深刻的性能。为了解决多步骤推理任务，少镜头思维链（CoT）提示包括一些手动制作的逐步推理演示，使法学硕士能够显式生成推理步骤并提高推理任务的准确性。为了消除手动工作，Zeroshot-CoT 将目标问题陈述与“让我们一步一步思考”连接起来，作为法学硕士的输入提示。尽管 Zero-shot-CoT 取得了成功，但它仍然存在三个缺陷：计算错误、失步错误和语义误解错误。]]></description><category></category></item><item><title><![CDATA[利用段落检索和生成模型进行开放域问答12.2]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134758392</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134758392</guid><author>RM_Jin</author><pubDate>Sat, 02 Dec 2023 21:59:13 +0800</pubDate><description><![CDATA[事实证明，开放域问答的生成模型具有竞争力，无需借助外部知识。虽然很有希望，但这种方法需要使用具有数十亿个参数的模型，而这些模型的训练和查询成本很高。在本文中，我们研究了这些模型可以从检索可能包含证据的文本段落中获益多少。我们在 Natural Questions 和 TriviaQA 开放基准测试中获得了最先进的结果。有趣的是，我们观察到当增加检索的段落数量时，该方法的性能显着提高。这证明序列到序列模型提供了一个灵活的框架，可以有效地聚合和组合来自多个段落的证据。]]></description><category></category></item><item><title><![CDATA[LOGIC-LM：使用符号求解器为大型语言模型提供忠实的逻辑推理11.22]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134561675</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134561675</guid><author>RM_Jin</author><pubDate>Wed, 29 Nov 2023 11:31:55 +0800</pubDate><description><![CDATA[大型语言模型（LLM）已经显示出类似人类的推理能力，但仍然难以解决复杂的逻辑问题。本文介绍了一种新颖的框架 LOGIC-LM，它将LLM与符号求解器相集成，以提高逻辑问题的解决能力。我们的方法首先利用LLM将自然语言问题转化为符号表述。随后，确定性符号求解器对所表述的问题进行推理。我们还引入了一个自我求精模块，它利用符号求解器的错误消息来修改符号形式化。]]></description><category></category></item><item><title><![CDATA[基于知识问答的上下文学习中的代码风格11.20]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134518302</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134518302</guid><author>RM_Jin</author><pubDate>Tue, 21 Nov 2023 21:00:57 +0800</pubDate><description><![CDATA[现有的基于知识的问题分类方法通常依赖于复杂的训练技术和模型框架，在实际应用中存在诸多局限性。最近，大型语言模型（LLM）中出现的上下文学习（ICL）功能为KBQA提供了一个简单且无需训练的语义解析范例：给定少量问题及其标记的逻辑形式作为演示示例，LLM可以理解任务意图并生成新问题的逻辑形式。然而，目前功能强大的LLM在预训练期间几乎没有暴露于逻辑形式，导致高格式错误率。为了解决这个问题，我们提出了一种代码风格的上下文学习方法的KBQA，它转换到更熟悉的代码生成过程中的LLM的不熟悉的逻辑形式的生成过程。]]></description><category></category></item><item><title><![CDATA[学习教授LLM逻辑推理11.19]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134487480</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134487480</guid><author>RM_Jin</author><pubDate>Mon, 20 Nov 2023 11:36:57 +0800</pubDate><description><![CDATA[大型语言模型（LLM）由于其卓越的语言生成能力和极强的泛化能力而受到学术界和工业界的极大关注。然而，当前的LLM仍然会输出不可靠的内容，由于其固有的问题（例如，幻觉）。为了更好地解开这个问题，在本文中，我们进行了深入的调查，系统地探讨LLM在逻辑推理的能力。更详细地说，我们首先调查LLM在逻辑推理的不同任务上的缺陷，包括事件关系提取和演绎推理。我们的研究表明，LLM在解决具有严格推理的任务时表现不佳，甚至会产生反事实的答案，这需要我们迭代地改进。]]></description><category></category></item><item><title><![CDATA[融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全11.18]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134317799</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134317799</guid><author>RM_Jin</author><pubDate>Sat, 18 Nov 2023 11:27:28 +0800</pubDate><description><![CDATA[知识图补全（KGC）旨在根据观察到的事实推断缺失的事实，这对许多下游应用程序具有重要意义。鉴于深度学习和预训练语言模型（LM）的成功，一些基于LM的方法被提出用于KGC任务。然而，它们中的大多数专注于对事实三元组的文本进行建模，而忽略了更深层次的语义信息（例如，拓扑上下文和逻辑规则），这对KG建模很重要。为此，我们提出了一个统一的框架FTL-LM来描述KGC语言模型中的拓扑上下文和逻辑规则，主要包括一种新的基于路径的拓扑上下文学习方法和一种变分期望最大化（EM）软逻辑规则提取算法。]]></description><category></category></item><item><title><![CDATA[大语言模型可以学习规则11.13]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134373977</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134373977</guid><author>RM_Jin</author><pubDate>Mon, 13 Nov 2023 20:37:00 +0800</pubDate><description><![CDATA[当提示一些例子和中间步骤时，大型语言模型（LLM）在各种推理任务中表现出令人印象深刻的性能。然而，在LLM中依赖于隐式知识的提示方法，在隐式知识是错误的或与任务不一致时，经常产生不正确的答案。为了解决这个问题，我们提出了假设到理论（HtT），一个框架，学习规则库与LLM推理。HtT包含两个阶段，归纳阶段和演绎阶段。在归纳阶段，LLM首先被要求在一组训练示例上生成和验证规则。规则出现并导致正确答案足够频繁地被收集以形成规则库。在推理阶段，提示LLM使用学习的规则库来执行推理以回答测试问题。]]></description><category></category></item><item><title><![CDATA[ChatkBQA：一个基于大语言模型的知识库问题生成-检索框架11.13]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134366464</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134366464</guid><author>RM_Jin</author><pubDate>Mon, 13 Nov 2023 10:00:33 +0800</pubDate><description><![CDATA[基于知识的问答（KBQA）旨在从大规模知识库（KBs）中获得自然语言问题的答案，通常分为两个研究部分：知识检索和语义分析。然而，三个核心的挑战仍然存在，包括低效的知识检索，检索错误的语义分析产生不利影响，和以前的KBQA方法的复杂性。在大型语言模型（LLM）时代，我们引入了ChatKBQA，这是一种基于Llama-2，ChatGLM 2和Baichuan 2等开源LLM微调的新型生成然后检索KBQA框架。]]></description><category></category></item><item><title><![CDATA[Think-on-Graph：基于知识图的大型语言模型的深层可靠推理11.12]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134350520</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134350520</guid><author>RM_Jin</author><pubDate>Sun, 12 Nov 2023 21:27:56 +0800</pubDate><description><![CDATA[尽管大型语言模型（LLM）在各种任务中取得了巨大的成功，但它们经常与幻觉问题作斗争，特别是在需要深入和负责任的推理的场景中。这些问题可以通过在LLM推理中引入外部知识图（KG）来部分解决。在本文中，我们提出了一个新的LLM-KG集成范式“LLM KKG”，它把LLM作为一个代理，以交互式地探索相关的实体和KGs上的关系，并进行推理的基础上检索到的知识。我们通过引入一种称为图上思维（ToG）的新方法进一步实现了这种范式，其中LLM代理迭代地在KG上执行波束搜索，发现最有希望的推理路径，并返回最可能的推理结果。]]></description><category></category></item><item><title><![CDATA[通过对多个思维链进行元推理来回答问题11.8]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134275131</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134275131</guid><author>RM_Jin</author><pubDate>Wed, 08 Nov 2023 09:56:17 +0800</pubDate><description><![CDATA[现代的多跳问题回答（QA）系统通常将问题分解为一系列推理步骤，称为思维链（CoT），然后才得出最终答案。通常会对多个链进行采样，并通过对最终答案进行投票机制进行聚合，但中间步骤本身被丢弃。尽管这样的方法提高了性能，但它们不考虑链之间的中间步骤关系，并且不提供预测答案的统一解释。我们引入了多链推理（MCR），一种方法，它引导大型语言模型对多个思维链进行元推理，而不是聚合它们的答案。MCR检查不同的推理链，在它们之间混合信息，并选择生成解释和预测答案中最相关的事实。MCR在7个多跳QA数据集上优于强基线模型。]]></description><category></category></item><item><title><![CDATA[知识注入以对抗大型语言模型（LLM）的幻觉11.6]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134242263</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134242263</guid><author>RM_Jin</author><pubDate>Mon, 06 Nov 2023 11:52:50 +0800</pubDate><description><![CDATA[大型语言模型（LLM）内容生成的一个缺点是产生幻觉，即在输出中包含错误信息。对于需要可靠、基于事实的、可控的大规模文本生成的企业应用案例，这尤为危险。为了减轻这一问题，本文利用一种称为知识注入（KI）的技术，将与文本生成任务相关的实体的上下文数据从知识图谱映射到文本空间中，以便在LLM提示中包含这些数据。以回应在线客户对零售店铺的评论为例，我们发现KI可以增加生成文本中包含的正确断言的数量。]]></description><category></category></item><item><title><![CDATA[验证链（CoVe）降低LLM中的幻觉10.31]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134146406</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134146406</guid><author>RM_Jin</author><pubDate>Tue, 31 Oct 2023 20:54:14 +0800</pubDate><description><![CDATA[在大型语言模型中，生成看似正确但实际上是错误的事实信息，即所谓的幻觉，是一个尚未解决的问题。本文研究了语言模型在给出回答时进行自我纠正的能力。开发了一种称为“验证链”（COVE）的方法，通过该方法，模型首先（i）起草一个初始回答；（ii）计划验证问题，对其起草的回答进行事实核查；（iii）独立回答这些问题，以避免答案受其他回答的偏见影响（iv）生成经过验证的最终回答。]]></description><category></category></item><item><title><![CDATA[自相矛盾的LLM幻觉：评估、检测、缓解10.30]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134123611</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134123611</guid><author>RM_Jin</author><pubDate>Mon, 30 Oct 2023 19:16:04 +0800</pubDate><description><![CDATA[大型语言模型（Large LMs）容易产生包含虚构内容的文本。其中一个重要问题是自相矛盾，即LM在同一上下文中生成两个相互矛盾的句子。在这项工作中，对各种经过指导的LM进行了全面的自相矛盾调查，包括评估、检测和缓解。揭示了当LM为开放领域的主题生成文本时，自相矛盾的普遍性，例如ChatGPT生成的所有句子中有17.7%存在自相矛盾。自相矛盾还可以作为基于检索的方法的补充，因为其中有很大一部分（例如ChatGPT的35.8%）无法通过维基百科进行验证。]]></description><category></category></item><item><title><![CDATA[KnowledgeGPT：利用检索和存储访问知识库上增强大型语言模型10.30]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134100743</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134100743</guid><author>RM_Jin</author><pubDate>Mon, 30 Oct 2023 10:38:17 +0800</pubDate><description><![CDATA[大型语言模型（LLM）在自然语言处理领域展现出了令人印象深刻的影响，但它们仍然在几个方面存在问题，例如完整性、及时性、忠实度和适应性。尽管最近的研究工作集中在将LLM与外部知识源进行连接，但知识库（KB）的整合仍然研究不足且面临多个挑战。本文介绍了KnowledGPT，这是一个全面的框架，用于将LLM与各种知识库连接起来，促进知识的检索和存储。检索过程采用了思维启发程序，它以代码格式生成用于KB的搜索语言，并具有预定义的KB操作功能。]]></description><category></category></item><item><title><![CDATA[推理还是背诵？通过反事实任务探索语言模型的能力和局限性]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134086497</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134086497</guid><author>RM_Jin</author><pubDate>Sat, 28 Oct 2023 10:18:21 +0800</pubDate><description><![CDATA[最近，语言模型在各种任务中展现出的令人印象深刻的性能表现，表明它们具备一定程度的抽象推理能力。这些能力是通用且可转移的，还是专门用于预训练期间接触到的特定任务？为了解开这些效应，本提出了一种基于"反事实"任务变体的评估框架，这些变体偏离了标准任务的默认假设。在11个任务的一系列测试中，观察到对于反事实变体的表现具有一定的非平凡性，但与默认条件相比，性能明显而一致地下降。这表明，尽管当前的语言模型在一定程度上具备抽象任务解决能力，但它们通常也依赖于狭窄的、不可转移的任务解决程序。]]></description><category></category></item><item><title><![CDATA[零资源的大语言模型幻觉预防]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134084275</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134084275</guid><author>RM_Jin</author><pubDate>Sat, 28 Oct 2023 00:53:34 +0800</pubDate><description><![CDATA[大语言模型（LLMs）在各个领域的广泛应用引起了人们对“幻觉”问题的关注，即LLMs生成事实不准确或无依据的信息。现有的语言助手中的幻觉检测技术依赖于复杂的不确定性、特定的自由语言思维链（CoT）技术或基于参数的方法，存在解释性问题。此外，针对生成后识别幻觉的方法无法防止其发生，并且由于指令格式和模型风格的影响，性能不一致。本文介绍了一种新颖的预检测自我评估技术，称为SELF-FAMILIARITY，重点评估模型对输入指令中存在的概念的熟悉程度，并在遇到不熟悉的概念时不生成响应。]]></description><category></category></item><item><title><![CDATA[DoLa：对比层解码提高大型语言模型的事实性]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134071975</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134071975</guid><author>RM_Jin</author><pubDate>Fri, 27 Oct 2023 21:20:52 +0800</pubDate><description><![CDATA[尽管大型语言模型（LLM）具有很强的功能，但它们容易产生幻觉，即生成与预训练期间观察到的事实偏离的内容。本文提出了一种简单的解码策略，用于减少预训练的LLM中的幻觉，该策略不需要依赖检索的外部知识或额外的微调。本方法通过对比从较高层和较低层投影到词汇空间所得到的logits之间的差异来获得下一个token的分布，利用了LLM中事实知识通常局限于特定的Transformer层的事实。这种 对比层解码（DoLa）的方法能够更好地表现出事实知识，并减少生成不正确事实的情况。]]></description><category></category></item><item><title><![CDATA[基于提示的少样本语言学习的对比学习方法10.25]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134028373</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134028373</guid><author>RM_Jin</author><pubDate>Wed, 25 Oct 2023 15:46:54 +0800</pubDate><description><![CDATA[GPT-3在使用自然语言提示和上下文学习方面展示出的令人印象深刻的性能，激发了在这一范式下更好地微调中等规模模型的相关工作。沿着这一研究方向，本文提出了一种对比学习框架，该框架通过对同一类别的输入进行聚类，以提高使用有限示例训练的模型的泛化能力。具体而言，提出了一种监督对比框架，该框架通过不同的增强“视图”对同一类别的输入进行聚类，并将来自不同类别的输入进行排斥。通过添加不同的语言提示和上下文演示来创建一个示例的不同“视图”。将对比损失与基于提示的少样本学习中的。]]></description><category></category></item><item><title><![CDATA[多跳推理真的可解释吗？10.24]]></title><link>https://blog.youkuaiyun.com/RM_Jin/article/details/134017947</link><guid>https://blog.youkuaiyun.com/RM_Jin/article/details/134017947</guid><author>RM_Jin</author><pubDate>Tue, 24 Oct 2023 19:18:28 +0800</pubDate><description><![CDATA[近年来，多跳推理在获取更可解释的链接预测方面得到了广泛研究。然而，实验中发现，这些模型给出的许多路径实际上是不合理的，而对它们的可解释性评估工作却很少。本文提出了一个统一的框架，以定量评估多跳推理模型的可解释性，以推进它们的发展。路径回溯局部可解释性全局可解释性并设计了一种使用规则的可解释性得分来计算这些指标的近似策略。此外，手动注释了所有可能的规则，并建立了一个用于检测多跳推理可解释性的基准测试（BIMR）。在实验中，验证了基准测试的有效性。]]></description><category></category></item></channel></rss>