文本特征抽取 tf idf

tf idf

笔记

• 对文本特征分析大多用于文本分类 使用Count进行文本特征抽取的方式受到很多干扰，所以采用tf idf 进行文文本特征抽取的方式
• tf:term frequence:词的频率 出现的次数
• idf：逆文档频率 log(总文档数量/该词出现的文档数量)
• tf idf 的作用：用于评估一个词对于一个文件集或一个语料库中的其中一份文件的重要程度

类sklearn.feature_extraction.text.TfidfVectorizer

1. TfidfVectorizer语法

• TfidfVectorizer（stop_words=None,…)

• 返回值：返回词的权重矩阵

• TfidfVectorizer.fit_transform(X)

• X:文本或者包含文本字符串的可迭代对象
• 返回值：返回sparse矩阵

• TfidfVectorizer.inverse_transform(X)

• X:array数组或者sparse矩阵
• 返回值：转换之前数据格式

• TfidfVectorizer.get_feature_names()

• 返回值：单词列表

代码

from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
import jieba

def dictvet():
    # mydict=DictVectorizer(sparse=False)
    # # 调用fit_transform
    # data=mydict.fit_transform([{'city':'上海','temp':37},{'city':'北京','temp':39},{'city':'深圳','temp':38}])
    # print(data)
    # print(mydict.get_feature_names())
    cv=CountVectorizer()
    data=cv.fit_transform(["人生苦短，我用python","人生苦短，我用java","人生漫长，我不用python"])
    print(cv.get_feature_names())
    print(data.toarray())
    return  None

def tfidfvet():
    word1="君子在下位则多谤，在上位则多誉；小人在下位则多誉，在上位则多谤。"
    word2="你若要喜爱你自己的价值，你就得给世界创造价值。"
    word3="如果我们想交朋友，就要先为别人做些事——那些需要花时间、体力、体贴、奉献才能做到的事"
    list_1=list(jieba.cut(word1))
    list_2=list(jieba.cut(word2))
    list_3=list(jieba.cut(word3))
    jieba_1=" ".join(list_1)
    jieba_2=" ".join(list_2)
    jieba_3=" ".join(list_3)
    cv=TfidfVectorizer()
    data=cv.fit_transform([jieba_1,jieba_2,jieba_3])
    print(cv.get_feature_names())
    print(data.toarray())


def main():
    # dictvet()
    tfidfvet()

if __name__ == '__main__':
    main()

运行结果：

当数值越大 表示这个关键词越具有代表性