（七）基于文本的QA问答系统——实践过程

实践过程

bi-encoder

借助huggingface上开源的预训练模型对query和doc分别编码，然后计算embedding编码的余弦相似度。这种方法query只需编码一次，但是分别编码的query和doc不能充分利用大规模语料库的信息。

在Bert模型中，句子的编码常常使用[cls]符对应位置的编码来替代，这是因为Bert可以看到双向信息，即便[cls]在句子开始处，只要设置恰当的训练任务就可以编码语义信息。然而GPT模型只能看到单向的信息，因此常见的做法是使用最后一个token的编码和编码整个句子的信息。

不少和bi-encoder相关的文章都提到平均池化（mean-pooling）通常会有更好的表现。

图 1平均池化

处理流程如下：

图 2 biencoder

具体实现代码可参考biencoder.py。

cross-encoder

在Cross-Encoder中，query和doc一起作为输入，模型输出可以衡量这种组合中语义的合理性。优点是可以充分利用大规模语料库中的语义信息，缺点在于对于不同doc，query需要重复被编码。
从而有：

最后使用，其中out_i代表query token所对应的输出，因为对于所有文档而言，query是相等长度的，因此无需进行归一化。
该值一定是负数，其越接近0，代表query和doc相关度越高。

处理流程如下：