组合特征(二)tfidf(word+article)+lsa

"""
将tfidf(word+article)特征降维为lsa特征,并将结果保存至本地,并将结果保存到本地

"""
from sklearn.decomposition import TruncatedSVD
import pickle
import time

t_start = time.time()


"""=====================================================================================================================
0 读取tfidf(word+article)特征
"""
with open('tfidf(word+article).pkl.pkl', 'rb') as f:
	x_train, y_train, x_test = pickle.load(f)

"""=====================================================================================================================
1 特征降维:lsa
"""
lsa = TruncatedSVD(n_components=200)
x_train = lsa.fit_transform(x_train)
x_test = lsa.transform(x_test)

"""=====================================================================================================================
2 将lsa特征保存至本地
"""
data = (x_train, y_train, x_test)
with open('tfidf(word+article)+lsa.pkl', 'wb') as f:
	pickle.dump(data, f_data)

t_end = time.time()
print("共耗时:{}min".format((t_end-t_start)/60))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值