zhuzaiyebol的博客

目前的事实验证方法一般遵循两阶段训练范式：证据检索和声明验证。虽然现有工作侧重于开发复杂的声明验证模块，但证据检索的根本重要性却在很大程度上被忽略了。现有方法通常采用基于启发式语义相似性的检索策略，导致证据与任务无关且性能不佳。在本文中，我们专注于证据检索，并提出了一个检索增强验证框架 RAV，该框架由两个主要模块组成：混合证据检索和联合事实验证。混合证据检索模块包含一个高效的检索器，用于对候选证据进行初步修剪，然后是一个排序器，可生成更精确的排序结果。

虚假信息的快速传播对公众利益构成了重大风险。为了打击虚假信息，大型语言模型 (LLM) 被改造为自动验证主张的可信度。然而，现有方法严重依赖 LLM 中的嵌入知识和/或黑盒 API 来收集证据，导致使用较小的 LLM 或在不可靠的上下文中性能不佳。在本文中，我们提出了通过对比论证综合 (RAFTS) 进行检索增强事实验证的方法。输入主张后，RAFTS 从证据检索开始，我们设计一个检索管道来从可验证来源收集和重新排序相关文档。然后，RAFTS 根据检索到的证据形成对比论据（即支持或反驳）。

虚假新闻的泛滥不仅传播误导性信息，而且破坏民主的基础，构成重大威胁。生成式人工智能的最新进展进一步加剧了区分真实新闻和虚假故事的挑战。为了应对这一挑战，我们推出了 VeraCT Scan，这是一种用于检测虚假新闻的新型检索增强系统。该系统的运行方式是从给定的新闻中提取核心事实，然后进行全网搜索以识别确凿或相互矛盾的报道。然后利用消息来源的可信度来验证信息。除了确定新闻的真实性之外，我们还提供透明的证据和推理来支持其结论，从而使结果具有可解释性和可信度。

由预训练的大型语言模型 (LLM) 提取的嵌入具有显著的改善信息检索和搜索的潜力。除了传统上使用的零样本设置之外，能够利用相关查询语料库配对数据中的信息可以进一步提升 LLM 功能。在本文中，我们提出了一种新方法 SearchAdaptor，用于以高效且稳健的方式定制用于信息检索的 LLM。Search-Adaptor 修改了由预训练的 LLM 生成的嵌入，并且可以与任何 LLM 集成，包括仅通过预测 API 提供的 LLM。

密集检索在许多信息检索 (IR) 相关任务中都显示出了良好的效果，其基础是学习高质量的文本表征以实现有效搜索。最近的一些研究表明，基于自编码器的语言模型能够使用弱解码器提高密集检索性能。然而，我们认为 1) 解码所有输入文本是没有区分性的，2) 即使是弱解码器也会对编码器产生旁路效应。因此，在本文中，我们引入了一种新颖的对比跨度预测任务来单独预训练编码器，但仍保留自编码器的瓶颈能力。关键思想是使用分组对比损失迫使编码器生成接近其自身随机跨度而远离其他跨度的文本表征。

最近，密集段落检索已成为各种自然语言处理任务中查找相关信息的主流方法。许多研究致力于改进广泛采用的双编码器架构。然而，大多数先前的研究在学习双编码器检索器时仅考虑以查询为中心的相似关系。为了捕获更全面的相似关系，我们提出了一种新方法，该方法利用以查询为中心和以段落为中心的相似关系（称为 PAIR）进行密集段落检索。为了实现我们的方法，我们做出了三大技术贡献：引入两种相似关系的形式化公式、通过知识蒸馏生成高质量的伪标记数据，以及设计一个包含以段落为中心的相似关系约束的有效两阶段训练程序。

最近的研究表明，使用微调语言模型 (LM) 进行密集检索是有效的。然而，密集检索器很难训练，通常需要经过大量设计的微调管道才能充分发挥其潜力。在本文中，我们确定并解决了密集检索器的两个潜在问题：i) 易受训练数据噪声影响；ii) 需要大批量来稳健地学习嵌入空间。我们使用最近提出的 Condenser 预训练架构，该架构通过 LM 预训练学习将信息压缩到密集向量中。在此基础上，我们提出了 coCondenser，它添加了无监督的语料库级对比损失来预热段落嵌入空间。

预训练的 Transformer 语言模型 (LM) 已成为首选的文本表示编码器。先前的研究对深度 LM 进行了微调，以将文本序列（例如句子和段落）编码为单个密集向量表示，以实现高效的文本比较和检索。但是，密集编码器需要大量数据和复杂的技术才能有效训练，并且在数据量较少的情况下会受到影响。本文发现一个关键原因是标准 LM 的内部注意力结构尚未准备好用于密集编码器，密集编码器需要将文本信息聚合到密集表示中。

尽管预训练在许多重要的 NLP 任务中取得了进展，但仍需探索用于密集检索的有效预训练策略。在本文中，我们提出了 RetroMAE，一种基于掩码自动编码器 (MAE) 的面向检索的新型预训练范式。RetroMAE 有三个关键设计。1）一种新颖的 MAE 工作流程，其中输入句子被不同的掩码污染用于编码器和解码器。句子嵌入由编码器的掩码输入生成；然后，通过掩码语言建模，基于句子嵌入和解码器的掩码输入恢复原始句子。

自然语言中存在 token 不平衡现象，因为不同的 token 出现的频率不同，这导致神经机器翻译 (NMT) 中 token 的学习难度不同。普通 NMT 模型通常对具有不同频率的目标 token 采用简单的等权重目标，与黄金 token 分布相比，它倾向于生成更多的高频 token 和更少的低频 token。然而，低频 token 可能携带关键的语义信息，一旦被忽略，将影响翻译质量。

自适应训练方法广泛应用于序列到序列模型，通常根据先验（例如词频）重新衡量不同目标标记的损失。然而，它们中的大多数都没有考虑不同训练步骤中学习难度的变化，而过分强调学习困难的独热标签，使得学习具有确定性和次优性。为此，我们提出了标记级自进化训练 (SE)，这是一种简单有效的动态训练方法，可以充分明智地利用数据中的知识。SE 专注于动态学习每个前向传递中未充分探索的标记，并通过引入一种新颖的标记特定标签平滑方法来自适应地规范训练。

目标术语权重作为回归问题向量表示学习 & term权重预测 相结合预测 term 召回率作为 term 权重术语权重是 IR 研究中的一个基本问题，目前已提出了多种权重模型。适当的术语权重可以极大地提高检索准确率，这实质上涉及两种类型的查询理解：解释查询和判断术语对查询的相对贡献。这两个步骤通常是分开处理的，因此提出了复杂但不太有效的加权策略。在本文中，我们提出在一个统一的框架中解决查询解释和术语权重问题，该框架建立在神经网络语言建模最新进展中的词语分布式表示之上。

1）学习高维稀疏表示2）FLOP 集成到损失函数作为正则化项3）相比 l1 损失更好倒排索引浮点运算的数量 // 非零值的均匀分布深度表示学习已成为视觉搜索、推荐和识别领域最广泛采用的方法之一。然而，从大型数据库中检索此类表示在计算上具有挑战性。基于学习紧凑表示的近似方法已被广泛用于解决此问题，例如局部敏感哈希、乘积量化和 PCA。在这项工作中，与学习紧凑表示相反，我们提出学习高维和稀疏表示，这些表示具有与密集嵌入相似的表示容量，同时由于稀疏矩阵乘法运算比密集乘法快得多而更高效。

1）密集表示可以修剪为稀疏，用在检索第一阶段2）伪相关反馈的有效性（pseudo-relevance feedback ）两个重点：1）稀疏性目标（是指非零元素的个数：稀疏性高，非零元素数量少，非零元素代表特征更重要）稀疏性的重要意义：稀疏的特征更有价值，更能代表任务的本质需求。可以通过a）正则化方法：最小化 l1 范数（通过l1范数，限制元素为0）b）激活函数（将元素置为0）来学习2）检索目标：hinge损失，通过对比正例和负例相似度训练，类似于对比损失。

1）在完整词汇表学习稀疏表示a）映射函数：词频和Bow表示 --》预测每个 term 的重要性分布b）门控器：控制每个 term 的激活2）与 DeepCT 和 Doc2query 的区别他们两个主要是利用中间模型辅助学习稀疏表示本文直接学习稀疏表示基于词的稀疏表示在工业应用中占据了第一阶段文本检索的主导地位，因为它在效率、可解释性和精确词匹配方面具有优势。

低频词是信息检索模型面临的一个反复出现的挑战，尤其是神经 IR 框架难以充分捕捉不常出现的单词。虽然这些术语通常会从神经模型中删除（主要是为了满足效率要求），但它们传统上在 IR 模型的性能中发挥着重要作用。在本文中，我们分析了低频术语对神经 IR 模型的性能和鲁棒性的影响。我们对三个最近的神经 IR 模型进行了受控实验，这些模型是在大规模段落检索集合上训练的。我们评估了具有不同词汇量大小的神经 IR 模型的各自词嵌入，并考虑了对可用 GPU 内存的不同程度的限制。

提高搜索引擎检索效率的一种方法是使用与文档内容相关或具有代表性的术语来扩展文档。从问答系统的角度来看，这可能包括文档可能回答的问题。根据这一观察，我们提出了一种简单的方法，该方法可以预测将针对给定文档发出哪些查询，然后使用原始序列到序列模型将这些预测扩展，该模型使用由查询和相关文档对组成的数据集进行训练。通过将我们的方法与高效的重新排序组件相结合，我们在两个检索任务中实现了最先进的水平。在延迟关键机制下，单独的检索结果（不进行重新排序）接近计算成本更高的神经重新排序器的有效性，但速度要快得多。

Nogueira 等人 [7] 使用简单的序列到序列转换器 [9] 进行文档扩展。我们用 T5 [8] 替换转换器，并观察到效率大幅提升。doc2query [7] 是一种文档扩展形式，其理念是训练一个模型，当给定一个输入文档时，该模型会生成该文档可能回答的问题。然后，这些预测的问题会附加到原始文档中，然后像以前一样对原始文档进行索引。本研究中的设置遵循 doc2query，但使用 T5 [8] 作为扩展模型。

1）将密集上下文表示 --》上下文感知的 term 权重2）权重用途a）passage：倒排索引存储 term 权重用来检索b）query：加权的 bow词频是识别查询或文档中术语重要性的常用方法。但它是一种微弱的信号，尤其是当频率分布平坦时，例如在长查询或文本为句子/段落长度的短文档中。本文提出了一种深度语境化术语权重框架，该框架学习将 BERT 的语境化文本表示映射到句子和段落的上下文感知术语权重。当应用于段落时，DeepCT-Index 会生成可存储在普通倒排索引中以供段落检索的术语权重。

对于Splade进行修改：1）修改池化机制2）引入蒸馏模型在神经信息检索 (IR) 中，正在进行的研究旨在改进排名管道中的第一个检索器。学习密集嵌入以使用有效的近似最近邻方法进行检索已被证明效果很好。与此同时，人们对学习文档和查询的稀疏表示的兴趣日益浓厚，这些表示可以继承词袋模型的理想属性，例如术语的精确匹配和倒排索引的效率。最近推出的 SPLADE 模型提供了高度稀疏的表示和与最先进的密集和稀疏方法相比具有竞争力的结果。

稀疏的优点：1）术语精确匹配2）倒排索引效率两部分：1、显式稀疏正则化：explicit sparsity regularization2、术语权重的对数饱和效应：explicit sparsity regularization在神经信息检索中，正在进行的研究旨在改进排名管道中的第一个检索器。学习密集嵌入以使用有效的近似最近邻方法进行检索已被证明效果很好。同时，人们对学习文档和查询的稀疏表示的兴趣日益浓厚，这些表示可以继承词袋模型的理想属性，例如术语的精确匹配和倒排索引的效率。

1）语言模型 + 倒排索引2）改进影响分数建模和词汇不匹配问题3）为每个文档 token 生成单值表示，估计其重要性神经信息检索系统通常使用级联管道，其中第一阶段模型检索候选文档集，然后一个或多个后续阶段使用 BERT 等语境语言模型对该集合重新排序。在本文中，我们提出了 DeepImpact，这是一种新的文档术语加权方案，适用于使用标准倒排索引进行有效检索。与现有方法相比，DeepImpact 改进了影响分数建模并解决了词汇不匹配问题。

大规模检索是指根据查询从庞大的集合中调用相关文档。它依赖于表示学习将文档和查询嵌入到公共语义编码空间中。根据编码空间，最近基于预训练语言模型 (PLM) 的检索方法可以粗略地分为密集向量或基于词典的范式。这两个范式分别揭示了 PLM 在不同粒度（即全局序列级压缩和局部词级上下文）中的表示能力。受它们互补的全局局部语境化和不同的表示视图的启发，我们提出了一种新的学习框架 Unifier，它将密集向量和基于词典的检索统一在一个具有双重表示能力的模型中。在段落检索基准上的实验验证了它在两个范式中的有效性。

最近，已经开发出通过使用上下文监督预训练来提高密集段落检索性能的方法。这些方法只是认为同一文档中的两个段落是相关的，而不考虑弱相关对的潜在负面影响。因此，本文提出了查询即上下文预训练，这是一种简单而有效的预训练技术来缓解这个问题。查询即上下文预训练假设从段落派生的查询更有可能与该段落相关，并形成段落-查询对。然后将这些段落-查询对用于对比或生成上下文监督的预训练。预训练模型在大规模段落检索基准和域外零样本基准上进行评估。

self-supervised masked AE 建模 text 内部 token 的语义context-supervised masked AE 建模 text 之间的语义密集段落检索旨在基于查询和段落的密集表示（即向量）从大型语料库中检索查询的相关段落。最近的研究探索了改进预训练语言模型以提高密集检索性能。本文提出了 CoT-MAE（ConTextual Masked Auto-Encoder），这是一种简单而有效的用于密集段落检索的生成预训练方法。

词典瓶颈 + masked + autoencoderencoder 和 decoder 之间加一个词汇瓶颈模块，其中构建了连续的词袋瓶颈，以无监督的方式学习词典重要性分布感知重要性 / importance-aware的词汇表示在大规模检索中，词典加权范式（学习词汇空间中的加权稀疏表示）已显示出高质量和低延迟的有希望的结果。

随着深度学习和自然语言处理技术的发展，预训练语言模型已被广泛用于解决信息检索（IR）问题。受益于预训练和微调范例，这些模型实现了最先进的性能。在之前的工作中，维基百科中的纯文本已广泛用于预训练阶段。然而，维基百科中丰富的结构化信息，如标题、摘要、层次标题（多级标题）结构、文章之间的关系、参考文献、超链接结构以及写作组织等尚未得到充分挖掘。在本文中，我们根据维基百科的结构化知识设计了四个针对 IR 任务的预训练目标。

法律文档特点：1）具有逻辑结构、长文本（现在模型难理解长距离）2）对于关键要素敏感，即使细微差别也会影响相关性判断（现在模型不能处理）本文：1）关注结构、关注要素2）多个预训练目标，利用非对称 encoder-decoder3）模型区分能力强，无标注也能区分不同案件法律案件检索旨在为查询案件找到相关案件，在智能法律系统中发挥着核心作用。尽管预训练在临时检索任务中取得了成功，但有效的法律案例检索预训练策略仍有待探索。与一般文档相比，法律案例文档通常是具有内在逻辑结构的长文本序列。

深度神经检索模型已经充分证明了它们的力量，但估计其预测的可靠性仍然具有挑战性。大多数对话响应检索模型都会针对响应与给定问题的相关程度输出单个分数。然而，深度神经网络的糟糕校准导致单个分数存在各种不确定性，使得不可靠的预测总是会误导用户决策。为了研究这些问题，我们提出了一种用于对话响应检索模型的有效校准和不确定性估计框架 PG-DRR，该框架将高斯过程层添加到确定性深度神经网络中，并通过 Polya-Gamma ’ 增强恢复共轭性以实现易于处理的后验推理。

数据集：18个基线：10个（词汇、稀疏、密集、后期交互、重排序）效果：1）后期交互和重排序，以高计算成本实现高性能（ zero-shot 设置 ）2）密集和稀疏计算效率高，但效果差（泛化能力改进空间大）现有的神经信息检索（IR）模型经常在同质和狭窄的环境中进行研究，这极大地限制了对其分布外（OOD）泛化能力的了解。为了解决这个问题，并方便研究人员广泛评估其模型的有效性，我们引入了 Benchmarking-IR (BEIR)，这是一种用于信息检索的强大且异构的评估基准。

在学习的密集表示空间中进行文本检索具有许多有趣的优点。然而，密集检索（DR）的性能通常不如基于单词的稀疏检索。在本文中，我们首先从理论上证明密集检索的瓶颈是小批量训练中采样的无信息负样本的主导，这会产生梯度范数递减、梯度方差大和收敛速度慢。然后，我们提出近似最近邻否定对比学习（ANCE），它从整个语料库中全局选择硬训练否定。我们的实验证明了 ANCE 在网络搜索、问答和商业搜索引擎中的有效性，表明 ANCE 点积检索几乎与基于 BERT 的级联 IR 管道的准确性相匹配。

为了更好地支持网络搜索和开放域问答等信息检索任务，人们越来越努力开发面向检索的语言模型，例如 RetroMAE（Xiao 等人，2022b）和许多其他模型（Gao 和 Callan，2021；Wang）等人，2021a）。大多数现有工作都专注于提高 [CLS] 令牌的上下文嵌入的语义表示能力。然而，最近的研究表明，除了[CLS]之外的普通标记可能会提供额外的信息，这有助于产生更好的表示效果（Lin et al, 2022）。

鉴于其在知识密集型自然语言处理任务上的有效性，密集检索模型变得越来越流行。具体来说，开放域问答的实际架构使用两个同构编码器，它们从相同的预训练模型初始化，但针对问题和段落分别进行参数化。这种双编码器架构的参数效率低下，因为编码器之间没有参数共享。此外，最近的研究表明，DPR 在各种环境下的表现都不如 BM25。因此，我们提出了一种新的架构，即任务感知专业化 dEnse 检索 (TASER)，它通过在单个编码器中交错共享和专用块来实现参数共享。

DPR 对于非常见实体效果差讨论问题：1）数据增强无法解决2）robust 段落编码器帮助解决问题适应由于密集检索模型的成功，开放域问答最近迅速流行，该模型已经超越了仅使用少量监督训练示例的稀疏模型。然而，在本文中，我们证明当前的密集模型还不是检索的圣杯。我们首先构建 EntityQuestions，这是一组基于维基数据事实的简单、实体丰富的问题​​（例如，“Arve Furset 出生在哪里？”），并观察到密集检索器的性能远远低于稀疏方法。

密集检索在各种信息检索任务中都显示出了可喜的结果，而与稀疏检索的优势相结合的混合检索也得到了积极的研究。混合检索的一个关键挑战是使稀疏和稠密互补。现有模型侧重于密集模型，以捕获稀疏模型中忽略的“剩余”特征。我们的主要区别是展示剩余互补性概念是如何受到限制的，并提出一个新的目标，表示为 RoC（互补性比率），它捕获了更全面的互补性概念。我们提出了一种旨在提高 RoC 的两级正交性，然后表明我们模型的改进 RoC 反过来又提高了混合检索的性能。

双编码器现在是密集检索的主导架构。然而，我们对它们如何表示文本以及为什么这会带来良好的性能知之甚少。在这项工作中，我们通过词汇分布阐明了这个问题。我们建议通过将双编码器产生的向量表示投影到模型的词汇空间中来解释它们。我们表明，所得的投影包含丰富的语义信息，并在它们和稀疏检索之间建立联系。我们发现这种观点可以为密集检索器的一些失败案例提供解释。例如，我们观察到模型无法处理尾部实体与令牌分布忘记这些实体的一些令牌的趋势相关。

生成检索模型仅依赖于其模型参数中编码的信息，无需外部记忆，其信息容量是有限且固定的。为了克服这个限制，我们提出了非参数解码（Np Decoding），它可以应用于现有的生成检索模型。Np 解码使用非参数上下文化词汇嵌入（外部存储器）而不是普通词汇嵌入作为解码器词汇嵌入。通过利用上下文词汇嵌入，生成检索模型能够利用参数和非参数空间。对文档检索任务中 9 个数据集（8 个单跳和 1 个多跳）的评估表明，将 Np 解码应用于生成检索模型可以显着提高性能。

双编码器已用于检索任务和表示学习，取得了良好的效果。训练双编码器的标准方法是使用批内负样本的对比损失。在这项工作中，我们提出了一种改进的对比学习目标，通过将来自相同编码器塔的查询或文档添加到负样本中，我们将其命名为“相同塔的负样本的对比损失”（SamToNe）。通过评估 MS MARCO 和 MultiReQA 的问答检索基准以及异构零样本信息检索基准（BEIR），我们证明 SamToNe 可以有效提高对称和非对称双编码器的检索质量。

近年来，基于模型的检索已经成为文本检索的一种新范式，它抛弃了传统检索模型中的索引，而是使用模型参数来记忆候选语料库。该设计采用序列到序列范例来生成文档标识符，从而能够完整捕获查询和文档之间的相关性，并简化经典的索引检索重新排序管道。尽管具有吸引人的品质，但基于模型的检索仍然存在几个主要挑战，包括预训练和微调之间的差异，以及训练和推理之间的差异。为了应对上述挑战，我们提出了一种名为 TOME 的新型两阶段基于模型的检索方法，该方法做出了两项主要技术贡献，包括1）利用标记化 URL 作为标识符和。

当在域内标记数据集上进行训练时，密集检索在第一阶段检索过程中显示出了前景。然而，先前的研究发现，密集检索由于其对领域不变和可解释特征（即两个文本之间的信号匹配，这是信息检索的本质）的建模较弱，很难推广到未见过的领域。在本文中，我们提出了一种通过捕获匹配信号（称为 BERM）来提高密集检索泛化能力的新方法。完全细粒度的表达和面向查询的显着性是匹配信号的两个属性。因此，在BERM中，单个段落被分割成多个单元，并提出两个单元级的表示要求作为训练中的约束以获得有效的匹配信号。