renliao优快云的博客

也是NLP中最重要的编码方式之一，它的有效性也被GPT-2, RoBERTa, XLM, FlauBERT等这些最强大的语言模型所证实。并且，这种编码方式还具有别的问题，参考下面链接的第一段。别急，有一种编码方式能大大减小token list，那就是本文即将介绍的。这里的字符，即可能是一个单词，也可能是一个字，称之为一个token；1、分词：将一个句子，分解成独立的字符，并对所有字符进行编号。我们知道，一门语言中，通常有几万到几十万量级的单词数。随着模型集成的不同国家的语言越来越多，

词法分析的概念、技术发展、应用领域

NLP入门-one-hot编码、Embedding编码、词向量、句向量。