大数据流式实时处理Spark
关注
分享
扫一扫
hashcon
做自媒体技术分享很久了，大家的抬爱与支持让我很开心很感激，但是个人本来做这些也并不是为了收益，只是为了个人学习与传播知识帮助更多的人，所以我将全网所有账号全部收益，持续捐给各种公益项目，也算不辜负大家的抬爱，也是回报祖国对我的一番培养。
曾任职于顺丰，华为，网易等公司，从Java小白，成长为资深开发与项目组首席架构师。喜欢源码与开源，曾贡献 MyCat1.6 核心源码，贡献过druid，Spring Cloud，dubbox，Apache RocketMQ，Apache Bookeeper 等多开源项目。
展开
-
SparkML（1）环境构建
工欲善其事必先利其器，我们先搭建好我们的开发环境。安装配置好Docker首先，我们需要Docker。毕竟我们的重点并不是在安装配置spark上面，怎么简便，怎么做是最好的啦。不过为了适用尽量多的场景，我们会配置一个单机集群，同时配置Pycharm远程调试。安装Docker的步骤，网上已经有很多了，我们这里贴一个基于CentOS 8系统的安装方式（用户最好是root，省的权限麻烦）：首先配置...原创 2019-12-06 12:17:31 · 614 阅读 · 1 评论 -
Spark学习使用笔记 - Scala篇（2）- 数组
数组：定长数组：val s = Array("Hello", 1)//用()而不是[]println("s(0) -> " + s(0)) //输出s(0) -> Hello变长数组：val b = ArrayBuffer[Int]()// += 末尾增加元素或者元祖b += 1b +=(2, 3)println(b) //输出ArrayBuffer(1, 2, 3)// ++= 末未原创 2016-07-27 15:53:26 · 8140 阅读 · 0 评论 -
Spark学习使用笔记 - Scala篇（3）- 映射，元组
映射： def constructMap = { //构造一个不可变Map[String Int] val scores = Map("Alice" -> 10, "aaa" -> 9, "bbb" -> 5) //构造一个可变Map[String,Int] val mscores1 = scala.collection.mutable.Map("Alice"原创 2016-07-29 15:05:32 · 6193 阅读 · 0 评论 -
Spark学习使用笔记 - Scala篇（3）- 对象
fieldclass Counter { //field必须初始化，为了知道类型 //会自动生成private的getter还有private的setter //setter和getter并不是getValue()和setValue()这样，而是value(),value_=()这样 private var value = 0 def increment() = { val原创 2016-07-31 11:21:49 · 5379 阅读 · 1 评论 -
Spark学习使用笔记 - Scala篇（1）
基础 def primitiveType(): Unit = { //scala没有原始类型，都是对象 println("1.toString -> " + 1.toString) //富类型自动转换Int->RichInt再调用to println("1.to(199) -> " + 1.to(199)) println("\"Hello.intersect原创 2016-07-21 16:37:25 · 6529 阅读 · 0 评论 -
Spark学习使用笔记 - Scala篇（4）- 对象、包
单例：object singleton { /** * 利用单例object： * 作为存放工具函数或者常量 * 高效共享单个不可变实例 * 单例模式协调 */ object ID { private var lastNumber = 0; def newUniqueId = { lastNumber += 1 la原创 2016-08-04 10:39:22 · 5482 阅读 · 0 评论 -
Spark学习使用笔记 - Scala篇（5）- 继承
继承override//覆盖父类的field或者方法一定要加overrideclass BankAccount(val initialBalance: Double) { private var balance = initialBalance def deposit(value: Double) = { balance += value balance } def w原创 2016-08-08 14:00:30 · 5658 阅读 · 0 评论