卡方检验提取特征来对文本分类

最新推荐文章于 2021-02-03 03:47:11 发布

walk walk

最新推荐文章于 2021-02-03 03:47:11 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据挖掘 python

本文链接：https://blog.youkuaiyun.com/dongtest/article/details/95595651

python 同时被 2 个专栏收录

31 篇文章

订阅专栏

数据挖掘

30 篇文章

订阅专栏

该博客主要讲述利用卡方检验提取特征来进行文本分类。卡方检验在文本特征提取方面发挥作用，通过此方法提取的特征可助力实现文本分类，在信息技术领域的文本处理方面有一定应用价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

count_vect = CountVectorizer()  
X_train_counts = count_vect.fit_transform(corpus)     
tfidf_transformer = TfidfTransformer()  
X_train_tfidf = tfidf_transformer.fit_transform(X_train_counts)  
X_ch2 = SelectKBest(chi2, k=10)  
X_train_ch2 = X_ch2.fit_transform(X_train_counts, Y_train)  

#筛选之前的全部特征词
feature_list = list(count_vect.get_feature_names())
print(feature_list)

#输出查看一下筛选之后的特征词
idxs_selected = X_ch2.get_support(indices=True) 
list1 = []
for i in range(len(feature_list)):
    if i in idxs_selected:
        list1.append(feature_list[i])
print(list(set(list1)))

#预测
classifier = LinearSVC().fit(X_train_ch2, Y_train)