gg13213的博客

Poly-encoderPoly-encoderBi-encodercross-encoderpoly-encoderPoly-encoder论文《Poly-encoders: Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring》开放了一种新的transformer体系结构，即Poly-encoder。Poly-encoder学习全局而不是token级别的s

RE2Simple and Effective Text Matching with Richer Alignment FeaturesSimple and Effective Text Matching with Richer Alignment Features论文提出了一种快速且高效的文本匹配模型，建议保留三个可用于序列间对齐的关键特征：原始点对齐特征、先前对齐特征和上下文特征。模型结构（只给出一半）：虚线框起来的作为一个模块（block）嵌入层+编码层，池化层嵌入层采用GLOVE的wo

ESIMESIM代码ESIM整体结构：输入（input embedding）利用预训练的词向量或者添加embeddin层采用双向LSTM对输入做特征提取，并将其隐藏值保存下来局部推理建模层句子间注意力计算：首先，基于点积函数的注意力打分矩阵:获取 a_title（b_bar的加权向量）和b_title（a_bar的加权向量）矩阵拼接目的：为了获取更多的特征即得到encoding值与加权encoding值之后，下一步是分别对这两个值做差异性计算，作者认为这样的操作有助于强化每个

Compare-Aggregate模型SEQ2SEQ模型文本间attention应用Compare-Aggregate模型比较层代码SEQ2SEQ模型即：输入输出均为序列的模型为seq2seq模型。例如生成式聊天机器人、机器翻译。文本间attention应用假设有两个输入文本：text_a和text_b，两个文本经LSTM后有输出向量A、B（A和B维度一致）。A关注B生成A的新特征表示：首先计算attention系数：alpha=softmax（A∗BT)alpha = softmax（A*B

SiameseNetSiameseNet代码SiameseNet孪生网络（SiameseNet）：输入是成对的，两部分网络结构和参数一模一样（即只有一个网络）优点：利用双向LSTM抽取语义特征利用对比损失优化模型提出多种文本数据增强方法模型结构：模型流程：采用字嵌入，长度固定为100，超出部分进行截取，不足补0利用双向LSTM提取文本表示特征，堆叠四层双向LSTM结构平均池化操作：在文本长度维度上做平均全连接层，提取出文本的最终表示利用余弦相似度计算两个输入的文本相似度。

DSSM模型文本匹配DSSM模型词哈希技术文本匹配文本匹配是NLP中的一个核心问题，例如信息检索可以归结成查询项和文档的匹配；智能问答可以归结为问题和候选答案的匹配；对话系统可以归结为对话和回复的匹配。文本匹配任务发展历程：单语义模型–>多语义模型–>匹配矩阵模型–>深层句间交互模型。DSSM模型DSSM将query和doc映射到同一个低维向量空间，在这个空间内，query和doc的相似度可以由这两个向量的空间距离计算得出。（向量间的距离表示匹配程度）模型优化策略：给定输入时，