TF-IDF是一种在信息检索和文本挖掘中常用的统计方法，用于评估一个词对于文档集或语料库中的一个文档的重要程度。max_df参数用于设定忽略频繁出现的术语，比如设置为0.50则会忽略出现在一半以上文档中的词。min_df参数则用来排除不常见的词，如设为0.01则忽略少于1%文档中的词。这两个参数有助于过滤掉常见词汇和噪声，提高文本分析的准确性。
max_df用于删除过于频繁出现的术语,也称为“语料库特定的停用词”.例如：
max_df = 0.50表示“忽略出现在50％以上文档中的术语”.
max_df = 25表示“忽略超过25个文档中出现的术语”.
默认的max_df是1.0,这意味着“忽略出现在100％以上文档中的术语”.因此,默认设置不会忽略任何术语.
min_df用于删除不经常出现的术语.例如：
min_df = 0.01表示“忽略出现在少于1％的文档中的术语”.
min_df = 5表示“忽略少于5个文档中出现的术语”.
默认min_df为1,表示“忽略少于1个文档中出现的术语”.因此,默认设置不会忽略任何术语.
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
