spark
关注
分享
扫一扫
数据架构师
没有付出，就没有收获！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark自定义累加器
import org.apache.spark.util.AccumulatorV2import scala.collection.mutable/** * @author tianmin * @date 2020/3/3 0003 * @notes Spark自定义累加器 */class SessionAccumulator extends AccumulatorV2[Str...原创 2020-03-03 22:06:30 · 172 阅读 · 0 评论 -
SparkStream自定义接收器Receiver
需求：SparkStream自定义接收器Receiver，用socket读入一行试下wordcount案列1.自定义MyReceiver类package com.atguigu.bigdata.streamimport java.io.{BufferedReader, InputStreamReader}import java.net.Socketimport java.nio.cha...原创 2020-02-29 10:05:20 · 271 阅读 · 0 评论 -
SparkStream自定义接收器，完成WordCount
SparkStream自定义接收器需求：自定义接收器，通过Socket完成WordCount案列1.自定义接收器类package com.atguigu.bigdata.streamimport java.io.{BufferedReader, InputStreamReader}import java.net.Socketimport org.apache.spark.stora...原创 2020-02-28 23:12:17 · 140 阅读 · 0 评论 -
Spark用户自定义函数(强类型)
1.定义函数//输入数据case class UserBean(name: String, age: Long)//缓冲区case class AvgBuffer(var sum: Long, var count: Int)//输入、缓冲区、输出类型class AgeAvgClass extends Aggregator[UserBean, AvgBuffer, Double] {...原创 2020-02-28 18:00:26 · 473 阅读 · 0 评论 -
Spark用户自定义函数(弱类型)
1.弱类型1.1 自定义类UserAvgpackage com.atguigu.bigdata.sqlimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction, UserDefinedFunct...原创 2020-02-28 17:55:24 · 270 阅读 · 0 评论