spark dataframe列归一化以及读写

一碗竹叶青

于 2020-11-04 20:12:40 发布

阅读量1.5k

点赞数 2

分类专栏： BigData # SparkDataFrame # SparkML 文章标签：大数据 spark

本文链接：https://blog.youkuaiyun.com/baidu_38127162/article/details/109498128

版权

BigData 同时被 3 个专栏收录

18 篇文章

订阅专栏

SparkML

8 篇文章

订阅专栏

SparkDataFrame

6 篇文章

订阅专栏

本文介绍使用Spark进行数据处理的方法，包括从CSV文件读取数据、转换为DataFrame格式，并使用TFRecord格式保存到HDFS中。此外，还提供了一个归一化数据的函数，用于对特定列的数据进行最小最大规范化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

val embddding_seq_data = ss.read.option("sep","\t")
  .csv("/")
  .toDF("feedid","embedding")
embddding_seq_data

以tfrecode形式写入hdfs里面：

trainData.write.mode(SaveMode.Overwrite).format("tfrecords").option("recordType", "Example").save(trainPath)

  def min_max_norm(sp: SparkSession, df: DataFrame, colName: String): DataFrame = {
    import sp.implicits._
    /*对df数据的每一列进行归一化
    * */
    val per: scala.Array[scala.Double] = df.stat.approxQuantile(colName, Array(0.01, 0.99), 0.001)
    val low = per(0)
    val high = per(1)
    println(colName + " min: " + low + " high: " + high)
    df.withColumn(colName, when(col(colName) > high, high).otherwise(col(colName)))
      .withColumn(colName, when(col(colName) < low, low).otherwise(col(colName)))
      .withColumn(colName, (col(colName) - low) / (high - low))
    }