spark 多目录输出

刀砍磁感线

于 2016-09-23 14:34:05 发布

阅读量3.9k

点赞数

分类专栏： spark 文章标签： spark 多目录输出数据混乱

本文链接：https://blog.youkuaiyun.com/dkcgx/article/details/52637899

版权

spark 专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了如何在Spark中处理数据并将其有序地输出到多个目录，避免数据混乱，提高数据管理和分析效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/**
  * 多目录输出
  */
class RDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] {

//指定该条记录的输出文件
  override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String =
    key.asInstanceOf[String]

//输出时不输出key
  override def generateActualKey(key: Any, value: Any): Any =
    NullWritable.get()

//调用

modeltags
.partitionBy(new HashPartitioner(20)) //按新key重新分区，否则会出现数据混乱丢失  
.saveAsHadoopFile(outputPath, classOf[String], classOf[String], classOf[RDDMultipleTextOutputFormat])