特征工程（六）lsa和lda

最新推荐文章于 2025-05-16 10:58:59 发布

Datawhale

最新推荐文章于 2025-05-16 10:58:59 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：达观杯nlp算法比赛总结

本文链接：https://blog.youkuaiyun.com/Datawhale/article/details/82824216

达观杯nlp算法比赛总结专栏收录该内容

20 篇文章

订阅专栏

本文介绍如何使用LSA（潜在语义分析）和LDA（潜在狄利克雷分配）对TF-IDF和CountVectorizer特征进行降维处理，通过Python的sklearn库实现，并将降维后的特征保存至本地文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

lsa

"""
将tfidf(word)特征降维为lsa特征，并将结果保存至本地，并将结果保存到本地

tfidf(article)可做类似处理

"""
from sklearn.decomposition import TruncatedSVD
import pickle
import time

t_start = time.time()


"""=====================================================================================================================
0 读取tfidf特征
"""
with open('tfidf_word.pkl', 'rb') as f:
	x_train, y_train, x_test = pickle.load(f)

"""=====================================================================================================================
1 特征降维：lsa
"""
lsa = TruncatedSVD(n_components=200)
x_train = lsa.fit_transform(x_train)
x_test = lsa.transform(x_test)

"""=====================================================================================================================
2 将lsa特征保存至本地
"""
data = (x_train, y_train, x_test)
with open('lsa_tfidf(word).pkl', 'wb') as f:
	pickle.dump(data, f_data)

t_end = time.time()
print("共耗时：{}min".format((t_end-t_start)/60))

lda

"""
将countvector(word)特征降维为lda特征，并将结果保存至本地

"""
from sklearn.decomposition import LatentDirichletAllocation
import pickle
import time

t_start = time.time()

"""=====================================================================================================================
1 countvector(word)特征加载
"""
with open('countvector_word.pkl', 'rb') as f:
	x_train, y_train, x_test = pickle.load(f_tf)

"""=====================================================================================================================
2 特征降维：lda
"""
lda = LatentDirichletAllocation(n_components=200)
x_train = lda.fit_transform(x_train)
x_test = lda.transform(x_test)

"""=====================================================================================================================
3 将lda特征保存至本地
"""
data = (x_train, y_train, x_test)
with open('lda_countvector(word).pkl', 'wb') as f:
	pickle.dump(data, f)

t_end = time.time()
print("共耗时：{}min".format((t_end-t_start)/60))