- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark2.X之累加器
文章目录前言一、累加器的作用二、使用步骤1.引入类2.代码解析总结前言通常在向 Spark 传递函数时，比如使用 map() 函数或者用 filter() 传条件时， 可以使用驱动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变 量的一份新的副本，更新这些副本的值也不会影响驱动器中的对应变量。这时使用累加器就可以实现我们想要的效果。提示：以下是本篇文章正文内容，下面案例可供参考一、累加器的作用累加器支持在所有不同节点之间进行累加计算(比如计数、求和、集合累积)。二、使用步骤1..
2022-03-01 22:01:12
1814
原创 将ip转为长整型
import scala.math.powdef ipToLong(ip:String): Long= {var addrArray = ip.split("\.")var num: Long = 0for (i <- 0 until addrArray.size) {var power = 3 - inum += ((addrArray(i).toInt % 256 * pow(256, power).toLong))}num}
2021-08-22 16:46:01
183
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人