qq_37523130的博客

基本原理 先从无监督表示学习讲起。表示学习的目标是为输入 x 学习一个表示 z，最好的情况就是知道 z 就能知道 x。这就引出了无监督表示学习的第一种做法：生成式自监督学习。比如还原句子中被mask的字，或者还原图像中被mask的像素。 但这种方式的前提需要假设被mask的元素是相互独立的，不符合真实情况。这句话是什么意思呢，下面会用举例1来说明一下。 另一方面，研究者们也质疑如此细粒度的还原是否真正必要。这句话的意思应该是是否需要模型有能够看到上下文就能对某个字精确预测的能力，才算模型真正理解了这些词，这

Joint embedding of words and labels for text classification 论文解读 模型结构 X：[batch_size, sequence_length, vocab_size] one-hot表示每个词/字的输入数据 y：[batch_size, class_nums] 输入数据的标签 V：[batch_size, embedding_size, sequence_length] 词向量表示每个词/字的输入数据 C：[embedding_size, cl