Python如何读取训练好的词向量？

最新推荐文章于 2022-09-25 13:16:45 发布

原创最新推荐文章于 2022-09-25 13:16:45 发布 · 3k 阅读

4 ·

CC 4.0 BY-SA版权

NLP 专栏收录该内容

24 篇文章

订阅专栏

本文介绍了一种从文件中加载预训练Word2Vec词向量的方法，通过逐行读取并解析词向量数据，将其存储为字典形式以供后续使用。

读取word2vec训练好的词向量

    def load_word2vec_object(self, source_data_path):
        source_data = open(source_data_path, 'rb')
        source_data_dict = {}
        for i, line in enumerate(source_data):
            if i == 0 and 'word2vec' in line:
                continue
            line = line.split(' ')
            word = line[0].decode('utf-8')
            word_vec_list = [float(x) for x in line[1:]]
            source_data_dict[word] = np.array(word_vec_list)  # 写入字典
        return source_data_dict