- 博客(4)
- 收藏
- 关注
RSS订阅原创 SparkSQL自定义UDAF
什么是UDAF？ 用户自定义的聚合函数 （User Defined Aggregation Function， UDAF），从定义中的 Aggregation 可以看出，UDAF是自定义的聚合函数，可以对DataFrame中的各组数据聚合成一条数据。一个 UDAF 维护一个聚合缓冲区来存储每组输入数据的中间结果。 它为每个输入行更新 此缓冲区， 一旦处理完所有输入行， 基于该聚合缓冲区的值返回结果。 创建SparkSQL UDAF 函数 一个 UDAF 继承了父类 UserDefinedAggregateF
2022-04-13 18:50:41
421
原创 java 参数传递类型的判定
什么是值传递： 对形参的修改不会影响到实参。 什么是引用传递： 对形参的修改会影响到实参。 基本数据类型的参数传递 public static void main(String[] args) { int a = 8; f(a); System.out.println("实参：" + a); } public static void f(int a) { a = 16; System.out.println("形参：" + a); } 打印结果 形参：16 实参：
2022-04-05 23:11:25
1187
原创 Kafka 异常 : DefaultOffsetCommitCallback.onComplete(ConsumerCoordinator.java:537) -Offset commit faile
Kafka 异常 : DefaultOffsetCommitCallback.onComplete(ConsumerCoordinator.java:537) -Offset commit failed 异常详情： ConsumerCoordinator$DefaultOffsetCommitCallback.onComplete(ConsumerCoordinator.java:537) -Offset commit failed. org.apache.kafka.clients.consumer.Co
2022-04-02 14:53:35
2385
原创 Spark Key-Value 聚合类算子解析
Spark Key-Value 聚合类算子解析 1. combineByKey() 算子 Spark 所有聚合算子都是在 combineByKeyWithClassTag 的基础上实现的，combineByKey 是Spark的一个最通用的聚合算子。 def combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C
2022-04-01 20:12:16
2048
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人