分布式数字化编码

最新推荐文章于 2024-09-26 06:30:00 发布

snaillup

最新推荐文章于 2024-09-26 06:30:00 发布

阅读量1.1k

点赞数

分类专栏： spark 文章标签： spark 分布式编码

本文链接：https://blog.youkuaiyun.com/snaillup/article/details/69566884

版权

spark 专栏收录该内容

20 篇文章

订阅专栏

本文探讨了在分布式应用中如何将数据如cookie编码为数字，包括集中式、固定间隔和弹性分布式编码三种方法。弹性分布式编码利用Spark的zipWithUniqueId函数，根据分区动态分配编码，兼顾效率和灵活性，尤其在数据分布均匀时能有效减少编码浪费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在分布式应用中，有时候需要把一些东西，例如cookie，编码成int/long型数字，在这里提供一些思路。
1. 集中式编码
类似于单机，将所有cookie重新切分在一起，按次序编码

var idnum:Long = 0
idrdd.repartition(1).map(oriId => {
      idnum += 1
      (oriId, idnum)
    }).repartition(partitionNum)

这种方法在数据量比较大的时候非常慢
2. 固定间隔分布式编码
每个partition内部实现顺序编码，各partition之间预留一定的间隔，需要预估每个partition容纳的最大数量，例如我们如果估计每个partition中的数量不会超过100万，则

idrdd.mapPartitionsWithIndex((mapIndex, itemIter) => {
              var baseIndex: Long = mapIndex.toLong*1000000L
              itemIter.map(oriId => {
                val numId = baseIndex
                baseIndex += 1
                (oriId, numId)
              })
            })

这种方法的缺点在于不够灵活，间隔是固定的，遇到数据增长较快时容易出现问题；而预留间隔如果太大，编码数字浪费较多
3. 弹性分布式编码
spark提供了分布式的编码方案，在org.apache.spark.rdd的zipWithUniqueId函数中，首先获得partition的个数partitionNum，然后每个partition内部的起始id为partitionId，间隔为partitionNum，这样在partition数据分布比较均匀时，中间浪费的编码会很少，且不用预设partition之间的间隔，非常灵活。举个栗子，我们有500个partition，则第一个partition内部的起始id为0，间隔为500，编码为(0, 500, 1000, …)，第二个partition内部的起始id为1，编码同理(1, 501, 1001, …), 其他类似。伪码

var partitionNum; //partition个数
var partitionId; //partition的id
//对每个partition内部
for i=0 to N
    partitionId+i*partitionNum

下面给出spark的实现

val n = idrdd.partitions.length.toLong
idrdd.mapPartitionsWithIndex { case (k, iter) =>
      Utils.getIteratorZipWithIndex(iter, 0L).map { case (item, i) =>
        (item, i * n + k)
      }
    }