枉费红笺的博客

这些指标都是用于评价文本生成质量的，大概做法都是比较某条候选文本（一般是机器生成的）和其他若干参考文本（一般是人类标注的）的相似性，不过适用场合略有区别：BLEU, METEOR, ROUGE 一般在翻译里用，ROUGE主要用于摘要评估，CIDEr和 SPICE一般在图像描述生成里用。

【AAAI2021】Dual-Level Collaborative Transformer for Image Captioning附： 论文下载地址论文主要贡献提出了一种新的双层协同Transformer网络(DLCT)，实现了区域特征和网格特征的互补性。在MS-COCO数据集上的大量实验证明了该方法的优越性。提出了位置约束交叉注意(LCCA)来解决两个特征源直接融合引起的语义噪声问题。利用所构建的几何对齐图，LCCA不仅能准确实现不同源特征之间的交互，还能通过交叉注意融合增强各种特征。首次

feature-based 和 fine-tune是NLP方向使用预训练模型时常用的两种方式，所以简单总结下。Feature-basedFeature-based指在使用时，并不直接使用模型本身，而是利用模型产生的结果，即LM embedding，通过预训练的模型得到额外的特征，引入到要训练的模型中。例如，在文本分类、序列标注等任务中，对输入的词进行编码得到词的embedding时，对于静态词向量（word2vec, glove）就是使用查表的方式，每个词根据word2vec或者glove甚至是最原

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史本文转载自知乎 ： 原文链接.作者：张俊林Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用

词嵌入（word embedding）是一种词的类型表示，具有相似意义的词具有相似的表示，是将词汇映射到实数向量的方法总称。词嵌入是自然语言处理的重要突破之一。下面将围绕什么是词嵌入、三种词嵌入的主要算法展开讲解，并通过案例具体讲解如何利用词嵌入进行文本的情感分析。什么是词嵌入？词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为（0.1 0.2 0.3