menghaocheng的专栏

单词向量化 【例1】 import tensorflow as tf from tensorflow import keras from tensorflow.keras.preprocessing.text import Tokenizer sentences = [ 'i love my dog', 'I love my cat', ] tokenizer = Tok...

在TF2.0-NLP Helloworld中讲了单词向量化，其主要目的是说明用数字来编码文本的概念。Helloworld中的所有例子都是用一个整个来编码一个单词，但实事证明用多维小数来编码单词更利于机器学习。这种用多维小数来编码单词的方式即是传说中的Word Embeddings。 Word Embeddings的第一个好处是意思相近的单词在多维空间中所处的位置是靠近的，比如“美丽”和“漂亮...