基于sklearn的文本特征提取与分类

最新推荐文章于 2024-02-06 10:41:13 发布

碗豆先生

最新推荐文章于 2024-02-06 10:41:13 发布

阅读量1.3w

点赞数 2

分类专栏： python 文章标签：文本分类垃圾短信 sklearn

本文链接：https://blog.youkuaiyun.com/u010297828/article/details/50465263

版权

python 专栏收录该内容

3 篇文章

订阅专栏

本文分享了作者参与中移动垃圾短信识别竞赛的经历及技术细节。从80万条训练短信中识别垃圾短信，通过分词、特征提取、分类等步骤实现了0.985的准确率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章开的比较久但内容没怎么写，不好意思！

本文呢是根据自己参加中移动垃圾短信基于文本内容识别竞赛而写的大数据与智能计算主页，竞赛描述网址:http://www.wid.org.cn/data/science/player/competition/detail/description/227由于比赛结果不太好，就记录一下用sklearn做文本特征提取这一块吧，当时也参考许多的博文，如Feature extraction - sklearn文本特征提取和应用scikit-learn做文本分类以及文本挖掘之特征选择(python 实现) 等文章。

题目是80万条短信作为训练数据，10%的垃圾短信(label = 1)，90%正常短信(label = 0),然后在20万条数据作为测试对象，找出垃圾短信与正常短信。我最终的评分是0.985，相对于第一0.997还是有很大差距，排名59/339。具体竞赛内容可以参考中国好创意比赛官网。

文本分类大致可以分为：出本处理，特征提取，特征选择，分类，预测几个步骤，其中前三步占用80%的工作量。

1.文本处理

分词，去除停用词等。文本处理要做的内容很多，如果需要请参考其他文献。

分词我采用结巴分词，有比较好用的python包，Python中文分词组件以供参考

去除停用词需要根据实际情况作考虑，一般情况是需要的。

文本处理后，得到的应该是每条短信对应的分词表，如：原”商业秘密的秘密性那是维系其商业价值和垄断地位的前提条件之一“经过处理后为”商业秘密秘密性维系商业价值垄断地位前提条件之一 “

核心代码：

#   (i not in stopWords) and    
def cutWords(msg,stopWords):
    seg_list = jieba.cut(msg,cut_all=False)
    #key_list = jieba.analyse.extract_tags(msg,20) #get keywords 
    leftWords = [] 
    for i in seg_list:
        if (i not in stopWords):
            leftWords.append(i)        
    return leftWords

#获取停用词表
def loadStopWords(): 
    stop = [line.strip().decode('utf-8')  for line in open('../data/stopWord.txt').readlines() ] 
    return stop

2.特征提取，特征选择

这里呢就需要参考上面的提到的两个参考博文了，具体API的用法可以参考sklearn官网这里使用的是tfidf特征

核心代码举例，具体参考附录的完整工程：

#navie bayes classifier
def nbClassifier(trainData,testData,trainLabel,testLabel):
    vectorizer = CountVectorizer(binary=True)
    fea_train = vectorizer.fit_transform(trainData)
    fea_test = vectorizer.transform(testData);  
#     tv=TfidfVectorizer()#该类会统计每个词语的tf-idf权值    
#     fea_train = tv.fit_transform(trainData)    #return feature vector 'fea_train' [n_samples,n_features]  
#     fea_test = tv.transform(testData);  
    print 'Size of fea_train:' + repr(fea_train.shape) 
    print 'Size of fea_test:' + repr(fea_test.shape) 
    print fea_train.nnz
    print fea_test.nnz

    clf = MultinomialNB(alpha = 0.01)   
    clf.fit(fea_train,np.array(trainLabel))
    pred = clf.predict(fea_test)
    totalScore(pred,testData,testLabel)

3.分类，预测

这个不多说，常见的方法就那么几种，相差不会很大。如果需要达到很高的分数还需要算法上的修改优化。

4.改进

由于垃圾短信中存在特殊字符,比如,三角/方框/繁体字等,在预处理时可以建立所有文档的异常符号词库,作为字典,对结果肯定有提升.

参考比赛第一名的ppt,对我来说参考意义也蛮大,需要的可以在我的资源点击打开链接查看.

本人的工程代码以及数据请到我的github主页下载点击打开链接