计算逆文本频率

最新推荐文章于 2025-11-18 14:05:05 发布

原创最新推荐文章于 2025-11-18 14:05:05 发布 · 938 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一种使用Java实现的逆文本频率IDF计算方法。该方法遍历文档集合，统计特定词汇出现的次数，并据此计算IDF值。适用于文本处理与信息检索等领域。

开发十年，就只剩下这套Java开发体系了 >>>

/**
  * 计算逆文本频率idf(w)
  *
  * @param c
  */
def idf(c:String, mapGjbz:Seq[String]):Double = {
  var count = 0
  //trainMap.foreach(f => {
  mapGjbz.foreach(f => {
    if (f.contains(c)) {
      count += 1
    }
  })

  if (count == 0) {
    return 0
  }
  else {
    return math.log(mapGjbz.size.toDouble / count)
  }
}