TensorFlow记录（二）

1.tf.contrib.learn.VocabulayrProcessor()函数

这个函数输入文本数据，以及指定句子包含单词长度，可以将文本数据转化为索引形式，但是目前来看，好像不能按照词频大小进行排列，只是单纯地按照单词出现的顺序创建词典，按照词典将句子处理成索引形式。

注意对象内置的几个属性，可以输出词典的内容等。

max_document_length = 4
a = ['this is a test', 'I have an apple and a pen', 'how are I']

vocab_processor = tf.contrib.learn.preprocessing.VocabularyProcessor(max_document_length)
res = vocab_processor.fit_transform(a)

print(type(res))
for i in res:
    print(i)

print('-'*30)
embedding_size = len(vocab_processor.vocabulary_)
print(embedding_size)

vocab_dict = vocab_processor.vocabulary_._mapping
print(type(vocab_dict))
print(vocab_dict)
sorted_dict = sorted(vocab_dict.items(), key = lambda x : x[1])
final_vocab = list(list(zip(*sorted_dict))[0])

print(final_vocab)