知亦行

文章目录离散表示独热编码（One-hot）词袋模型(Bag of Words)词频-逆向文件频率（TF-IDF）N-Gram模型（统计语言模型）离散表示的问题分布式表示共现矩阵(Cocurrence matrix)神经网络语言模型（NNLM）Word2VecGlove 文本表示目的：将文本数据表示成计算机能够运算的数字或向量 离散表示 独热编码（One-hot） 思想： 将语料库中所有的词拉成一个向量，给每个词一个下标，就得到对应的词典。每个分词的文本表示为该分词的比特位为1,其余位为0的矩阵表示。