NLP处理-Spark中的HashTF与CountVectorizer模型

最新推荐文章于 2025-03-19 22:01:13 发布

xubc

最新推荐文章于 2025-03-19 22:01:13 发布

阅读量3.1k

点赞数 1

分类专栏：机器学习/算法 spark 文章标签： nlp spark tf-idf

本文链接：https://blog.youkuaiyun.com/u011098327/article/details/74923988

版权

本文详细介绍了在Spark机器学习库中，如何使用HashTF和CountVectorizer进行自然语言处理，这两种技术常用于计算TF-IDF值，为文本数据预处理提供基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

http://spark.apache.org/docs/latest/ml-features.html#tf-idf

import org.apache.spark.ml.feature._
import org.apache.spark.ml.linalg.SparseVector
import org.apache.spark.sql.SparkSession

import scala.collection.mutable
import scala.io.Source

/**
  * Created by xubc on 2017/6/3.
  */
object TestX {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder
        .master("local[5]")
        .appName(this.getClass.getName().stripSuffix("$"))
        .getOrCreate()
    val sentenceData = spark.createDataFrame(Seq(
      (0.0, "Hi I heard about are Spark"),
      (1.0, "I wish Java could use case spark classes"),
      (2.0, "Logistic regression regression models are neat I")
    )).toDF("label", "sentence")

    val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
    val wordsData = tok