qq_35166730的博客

来源：https://redian.news/wxnews/488452一些参考：https://zhuanlan.zhihu.com/p/643560888https://zhuanlan.zhihu.com/p/643829565https://zhuanlan.zhihu.com/p/558286175https://zhuanlan.zhihu.com/p/632102048https://github.com/5663015/LLMs_train论文《Finetuned Language

调用XLnet模型训练好的词向量做W2V的方法如下：1.pip install pytorch_transformers2.下载预训练模型3.如下Getw2v()代码块获取词向量4. 使用词向量进行其他后续操作，如进行句子相似性判断，做命名实体识别等。以下代码是进行句子相似性判断的示例。from pytorch_transformers import XLNetModel,XLNetCo...

全文均为笔者的理解，不权威也不一定准确，如有错误欢迎指正。NLP的核心问题，就是学习不同语境下的语义表示，所谓的语义表示呢，就是以量化的方式来表示一个单词，即我们今天要说的——词向量。词向量作为一种预训练模型在NLP领域应用非常广泛，词向量可以看作是用来表达词的语义。在这个领域，一个重要的挑战为一个单词在不同的上下文里有可能表示不一样的语义，该如何解决这个问题呢？那就是加入了上下文信息来区分同一...