Hekena的博客

不同方面去做相似度的评价，语料库的收集上是有一定技巧的，并不是完全从头开始。损失函数构造上的思路，不是很理解，为什么没有设置为多任务形式而是将两个（high&low）的损失值放在一个损失函数里。相似度也是评价角度之一，涉及到评价的，应该将结果单一值转向结果云的形式，其中论文中的条件，就是结果呈现的不同角度。

以data2text任务为例，探讨generation metric矩阵对于一些句子扰动是否敏感，在多个维度上的敏感性如何？

一个欧式距离，一个余弦距离；一个one2one，一个n-gram2one;

本文主要是对苏剑林老师之前的博客中，对相似度相关的内容稍作整理。

我觉的这篇论文可以细细研读，针对比较关心的几个问题，给了解决方案，在各向异性，在语义表示上，都提出了一些改进。我觉得可以。可以作为复现论文之一。论文围绕两个问题：1 如何获得较好的语义表示向量？（传统预训练语言模型具有各向异性）2 如何测算语义表示向量之间的相对距离？（基于统计的方法和基于语义的方法）opinion summary：自动化的生成准备的summary从线上用户的评论中。一般是基于无监督的方法。（无标注数据的原因）大致分为两种，一种是general summary，即选择最佳的能够表示s

测地线距离（Geodesic Distance）：地表上两点之间的最短路径的距离。如下图所示，在二维空间中，两个黑点之间的欧式距离是虚线的长度，测地线距离时d12+d23+d34+d45的距离之和。 在三维空间中，距离是三维空间表面上的两点之间的距离。 相似度论文：Unsupervised Opinion Summarization Using Approximate Geodesics 在计算相似度时，尤其是在文本领域，一般是将语句转为嵌入后，通过距离函数计算两点之间的相似度分值。其中，d()表示距离函数

原文链接：http://www.procedurallaw.cn/info/1005/1007.htm为贯彻“各级法院在审理类似案件时应参照指导性案例”的司法原则，推进法官在办案过程中援用具有指导性的先决类案，最高人民法院2020年7月31日发布了《关于统一法律适用加强类案检索的指导意见（试行）》（以下简称《指导意见》），进一步以规范性法律文件的方式将“同案同判”的要求加以制度化，明确在四类特殊情形下承办案件的法官应当检索类案并制作检索报告。不过，该意见只是概括性地提出了判断案件类似性的宏观比较点，比如案件

一般相似度问题出现在：摘要生成任务、对话任务、问答任务中。摘要生成任务即在给定一段原始文本的基础上，生成预设摘要的过程。对话任务即给定对话背景和对话上文的基础上，生成对话下文的过程。问答任务即给定问题的基础上，生成预设答案的过程。在相似度测评中，以摘要生成任务为例。评估一篇摘要的质量，是将机器生成的摘要和预设摘要进行比较的过程，这是一件比较困难的任务。对于一篇摘要而言，很难说有标准答案。不同于很多拥有客观评判标准的任务，摘要的评判一定程度上依赖主观判断。即使在摘要任务中，有关于语法正确性、语言流畅性

工人们被逐一展示每个对话，并被要求用自然英语输入与每个系统DA对应的适当的系统反应。对于每个领域，我们从大约1,000个随机抽样的对话中收集了大约5,000个系统话语。每个分类值都被一个代表其槽的标记所取代，在一个DA中多次出现的槽被合并为一个。在对每个语料根据其去词汇化的DA进行处理和分组后，我们在餐厅中得到248个不同的DAs和酒店领域的164个。Bastien等人，2012）实现，并通过将每个收集到的语料库按3:1:1的比例划分为训练、验证和测试集进行训练。为了形成每个领域的训练语料库，

人工标注的数据：TO verfify the proposed evaluator is qualifited, we need to calculated correlations with human scores in each benchamark.实验验证：对比model有BLEU、METHOR、ROUGE、Bertscore....多个维度出发评价生成文本的质量，如一致性、流畅度等等。任务形式：summary和dialogue。dataset: wnt 18和wnt 19。

模糊匹配的算法也分为两大类： 方法1：求两个文本 相似度 ，大于某个阈值时，则认为这两个文本一致。方法2：对每个文本按照一定比率 (模糊度)进行信息抽取压缩，生成一串模糊代码 (matchCode)，模糊代码近似代表原始文本，模糊代码之间进行 精确匹配 即可。汉明距离是用于测量两个序列之间的编辑距离的几个字符串度量之一。它以美国数学家理查德·海明命名。定义：两个等长的符号串之间的汉明距离是对应符号不同的位置个数。汉明距离(Hamming distance)模糊匹配算法和相似度算法是类似的。

模型特点：multiple model variants。

在introduction中，介绍背景和research community jobs之后，转到现在的问题上，however …This lead to potential under-utilization of the pretrain model.然后，新的一段，介绍自己的工作．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｗｅ　．．．．新的一段，介绍ｒｅｓｕｌｔ。第一张图片是在不同top-k的机器翻译系统下，不同metric的性能变化趋势。可以发现，当k增加的时候，BA下降趋势是较为平稳的。

事实一致性检查。

摘要部分，写的ok .背景：Evaluating open-domain dialogue systems is difficult to the diversity of possible correct answers.

我觉得这个方法也没有考虑到语序这个因素。在计算时，拆分的会不会有点太散了。token-to-token的相似度加权得到最终相似度。整个chunk的相似度似乎并没有得到很好的利用。word的本身语义信息在利用时，会不会在变换为token后改变了？本文核心：计算reference和candidate中每个token之间的语义相似度（cosine similarity），选择对应的最大的相似度分值，加权得到最终的相似度值。

这两篇文章都是先从“指标项”开始的，比如translation更关注什么指标？summary关注什么指标？一致性、流畅性等等。上一篇是bi-grams这一篇是：P/R/F,longest common sequence有一个核心假设，比如，相同的公共子序列越长，则效果越佳。

BLEU还是有一些不足的，虽然考虑了n_grams的匹配数量，但是在句法、单词顺序、同义词方面，考虑的不是很多。后面的改进，而且，他算是单一维度的评价指标吧。虽然在开头提到需要考虑四个维度：连贯性、完整性（一元gram相同的越多时）、流畅度（最长的n_gram越长的时候）…，但在计算中，这四个维度，体现的还不是太好。

引出背景：multi-dimensional evaluation is a dominant paradigm for human evaluation in NLG.

依存语法理论认为词与词之间存在主从关系，这是一种二元不等价的关系。在句子中，如果一个词修饰另一个词，则称修饰词为。。语义依存分析：分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。使用语义依存刻画句子语义,好处在于丌需要去抽象词汇本身,而是通过词汇所承受的语义框架来描述该词汇,而论元的数目相对词汇来说数量总是少了很多的。语义依存分析目标是跨越句子表层句法结构的束缚,直接获取深层的语义信息。

以前的方法要么是从单一方向匹配句子，要么只应用单一的粒度（逐字或逐句）匹配。在这项工作中，我们提出了一个。给定两个句子P和Q，我们的模型首先用BiLSTM编码器对它们进行编码。接下来，我们在两个方向上对这两个编码的句子进行匹配，即。在每个匹配方向上，

MACSE 是一篇针对医学文本的句向量表征工作，虽然其主要关注的是 QA 任务，但他的句向量表征方式在文本相似度任务中同样适用。医学文本区别于通用文本的一大特征就是包含复杂的多尺度信息，如下：论文的核心是如何学习得到融合多尺度信息的网络模型？；论文引入监督学习模块CAMSE将语义编码为嵌入张量，然后提出两种完整的评分策略：语义匹配评分（SMS）和语义关联评分（SAS），以挖掘给定问题与相应证据文档之间的语义相似性和关联性。。

这篇论文，我觉得有意思。在创造对抗学习的正负例时，正例直接使用它本身。将同一个句子传递给预先训练好的编码器两次：通过应用两次dropout，我们可以得到两个不同的嵌入作为。然后，我们把同一小批中的其他句子作为。我们首先描述了一种无监督的方法，它采用输入句子并在对比性目标中预测自己，只用dropout 的size大小作为噪音。

对预训练的BERT网络进行修改，使用连体和三连体网络结构，得出有语义的句子嵌入，可以使用余弦相似度进行比较。

我们向LSTM提供了补充有同义词信息的词嵌入向量，LSTM使用一个固定大小的向量来编码一个句子中所表达的基本含义（不管特定的措辞/语法）。通过限制后续操作以依赖简单的曼哈顿度量，我们迫使我们的模型学到的句子表征形成一个高度结构化的空间，其几何形状反映了复杂的语义关系。在introduction中，论文提到：一个好的模型不应受到用于表达同一观点的不同措辞/语法的影响。

是使用LSTM表征句法结构树，他的出发点是对序列形式的句法表征的改进，是希望使用LSTM表示句法结构树下的句子表征。（句法结构树不同短语依存树）h_L表示句子对中的左边句子，h_R表示句子对中的右边句子。模型结构在句子相似度评测和情感分类中被测试。更上层的LSTM能够捕捉更长的句法依赖。在句子对的相似度评价任务中，，计算方法。正序下的LSTM和倒序下的LSTM。注意是，hj的计算方法变了。

这算是特征工程的一项吧。是对CNN在句子表征中的多个实验。除了注意力没有考虑到，差不多全了。