【数据挖掘】5分钟带你了解文本向量化的常见方式

文本向量化：将文本信息表示成能够表达文本语义的向量，是 用数值向量来表示文本的语义。
词嵌入(Word Embedding)：一种将文本中的词转换成数字向量的方法，属于文本向量化处理的范畴。向量嵌入操作面临的 挑战包括：
（1）信息丢失：向量表达需要保留信息结构和节点间的联系。
（2）可扩展性：嵌入方法应具有可扩展性，能够处理可变长文本信息。
（3）维数优化：高维数会提高精度，但时间和空间复杂性也被放大。低维度虽然时间、空间复杂度低，但以损失原始信息为代价，因此需要权衡最佳维度的选择。

常见的文本向量和词嵌入方法包括独热模型（One Hot Model），词袋模型（Bag of Words Model）、词频-逆文档频率（TF-IDF）、N元模型（N-Gram）、单词-向量模型（Word2vec）、文档-向量模型（Doc2vec）