qq_34989620的博客

Representation Learning on Knowledge Graphs:From Shallow Embedding to Graph Neural Networks - Yizhou Sun - UCLApart 1:Shallow knowledge graph embeddingknowledge graph:example of KG:Applications of KGs:Knowledge graph embedding:TransE: (2013)DistMult:（ICLR'

推进语言模型的前沿研究 CCKS2020-推进语言模型的前沿研究 - 李航 - 字节跳动 past: n-gram 马尔可夫 present： 预训练模型： RNN Transformer GPT：链式法则 Bert：bidirectional language model 、mask 模型更复杂，表示能力更强，应用在语言理解任务里。 they work： 1、Soft-mask Bert 中文错别字纠正 检测能力：GRU 纠错能力：Bert 2、AMBERT(a multi-grained bert