qq_20095389的博客

欢迎交流指正CTRL - A Conditional Transformer Language Model for Controllable Generationhttps://arxiv.org/pdf/1909.05858.pdf模型应该没变， 变得是训练数据的格式，会将数据分类，每一个分类变成 比如， book x,y 或者wiki x, y。...

几篇比较好的链接机器不学习：一文看懂Attention机制斯坦福ppt本文主要以问自己问题的方式去理解什么是attention，理解可能会有偏差，欢迎指正。Attention 机制为什么用Attention机制？这个是由于传统的encoder-decoder模型，如何从source学习东西呢？那就是从encoder的输出决定，对于LSTM模型来讲，很大程度上依赖于最后一个hidden ...

中文分词目前主流方案基于BiLSTM-CNN-CRF的中文分词参考1（整个流程讲的比较好）https://www.jianshu.com/p/5fea8f42caa9参考2（CRF理解那块讲的好）https://www.jianshu.com/p/97cb3b6db573个人理解Bilstm利用词与词之间的关系BiLSTM在学习较长句子时，可能因为模型容量问题丢弃一些重要信息，CNN...

BeamSearch的理解转自知乎问题“谁能解释下seq2seq中的beam search算法过程?”高分回答https://www.zhihu.com/question/54356960

CoLA:单句的二分类问题, 判断一个英文句子在语法上是不是可接受的.SST-2单句的二分类问题, 句子的来源于人们对一部电影的评价, 判断这个句子的情感.MRPC句子对来源于对同一条新闻的评论. 判断这一对句子在语义上是否相同.STS-B这是一个类似回归的问题. 给出一对句子, 使用1~5的评分评价两者在语义上的相似程度.QQP这是一个二分类数据集. 目的...

BLEU论文：https://aclweb.org/anthology/P02-1040.pdf思想：数词是否在ground truth里举例原文：猫坐在垫子上机器翻译：The cat sat on the mat人工翻译：The cat is on the mat1-gram可以看到机器翻译6个词，有5个词命中参考译文，那么它的匹配度为 5/6.2-gram2元词组的匹配度则...