Python获得一篇文档的不重复词列表并创建词向量

最新推荐文章于 2024-09-03 10:01:10 发布

Mr.Jcak

最新推荐文章于 2024-09-03 10:01:10 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： Python 文档词汇

本文链接：https://blog.youkuaiyun.com/weixin_38314865/article/details/84196029

python 专栏收录该内容

58 篇文章

订阅专栏

本文介绍了一种从原始文本数据中提取不重复词汇，并创建词汇表的方法。通过使用Python编程，我们展示了如何构建一个词汇表，以及如何将输入文档转换为词向量，这对于文本分类和自然语言处理任务至关重要。

获得一篇文档的不重复词列表：

def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    return postingList

def createVocabList(dataSet):
    vocabSet = set([])  # 创建空集合
    for document in dataSet:
        vocabSet = vocabSet | set(document) # 取并集
    return list(vocabSet)

word = loadDataSet()
word_set = createVocabList(word)
print(word_set)

输出：（可以看到输出没有重复词汇）

['stop', 'not', 'stupid', 'how', 'food', 'him', 'posting', 'worthless', 'I', 'has', 'please', 'dalmation', 'licks', 'problems', 'help', 'garbage', 'buying', 'maybe', 'my', 'to', 'quit', 'flea', 'so', 'mr', 'dog', 'park', 'is', 'love', 'steak', 'ate', 'take', 'cute']

接下来是由输入文档和词汇表来创建词向量的函数：

vocabList是词汇表，inputSet是输入文档，输出是文档向量，向量每一个元素是1或0，分别表示词汇表的单词在输入文档中是否出现

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList) # 创建一个和词汇表等长的全0向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print("the word: %s is not in my Vocabulary!" % word)
    return returnVec