文本分类（3）——文本转词向量

最新推荐文章于 2025-07-10 17:57:46 发布

_年_

最新推荐文章于 2025-07-10 17:57:46 发布

阅读量3.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：学习学习学习文章标签： Bow 词向量

本文链接：https://blog.youkuaiyun.com/qq_34452281/article/details/86518155

本文介绍了在文本分类中如何将文本转化为词向量表示，重点探讨了词袋模型（Bag of Words, Bow）作为词权重的使用方法，并提供了相关资源链接供进一步学习。" 117279296,11035950,Fragment进阶：回退栈与通信实践,"['Android开发', 'Java', 'Fragment通信']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

001 常见词向量表达

https://blog.youkuaiyun.com/sinat_26917383/article/details/52162589
https://blog.youkuaiyun.com/hubin232/article/details/81272126 【比较新】

我就直接用的Bow当做词得权重了。
测试文本用Bow表示

import json
import os
from collections import Counter
import time
#每篇文档用bow表示
def gen_vector(path):
    testVector={}
    cate=os.listdir(path)
    for i,category in enumerate(cate):
        print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()), '>', '=' * 30 + '[' + category + ']' + '=' * 30)
        file_path=path+category+'/'
        file_list=os.listdir(file_path)
        testVector.setdefault(category,{})
        for j,file_name in enumerate(file_list):
            full_path=file_path+file_name
            with open(full_path,"r",encoding='utf-8') as f:
                conten