sqweeks的博客

在本文中，我们提出使用序列到序列模型进行命名实体识别（NER），并探索了这种模型在渐进式NER设置（迁移学习（TL）设置）中的有效性。我们在源数据上训练一个初始模型，并将其转换为一个模型，该模型可以在源数据不再可用时在后续步骤中识别目标数据中的新NE类别。我们的解决方案包括：（i）重塑和重新参数化第一个学习模型的输出层，以识别新的NE；（ii）保持架构的其余部分不变，以便用从初始模型传输的参数对其进行初始化；以及（iii）根据目标数据对网络进行微调。

在这篇论文中，我们提出了各种基于长短期记忆（LSTM）的序列标记模型。这些模型包括LSTM网络、双向LSTM（BI-LSTM）网络、具有条件随机场（CRF）层的LSTM（LSTM-CRF）和具有CRF层的双向LSTM。我们的工作是首次将双向LSTM CRF（表示为BI-LSTM-CRF）模型应用于NLP基准序列标记数据集。我们证明，由于双向LSTM组件，BILSTM-CRF模型可以有效地使用过去和未来的输入特征。由于CRF层，它还可以使用句子级标签信息。

最先进的序列标记系统传统上需要大量的任务特定知识，如手工特征和数据预处理。本文介绍了一种新的神经网络架构，该架构通过使用双向LSTM、CNN和CRF的组合，自动从单词和字符级表示中受益。我们的系统是真正的端到端，不需要特征工程或数据预处理，因此适用于广泛的序列标记任务。我们在两个序列标记任务的两个数据集上评估了我们的系统——用于词性（POS）标记的Penn Treebank WSJ语料库和用于命名实体识别（NER）的CoNLL 2003语料库。

我们已经成功实现了RAG的检索组件。接下来，我们引入一个prompt，利用集成混合检索器提供的上下文来产生响应，从而完成RAG链。