CoderBoom的博客

Scala高级特性1. 高阶函数Scala 混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。1.1 作为值的函数​ 可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。即函数作为值传递到方法中定义函数式格式 : val 变量名=(输入参数类型和个数...

目标 : 使用 Akka 实现一个简易版的 spark 通信框架项目概述1. 需求​ 目前大多数的分布式架构底层通信都是通过 RPC 实现的，RPC 框架非常多，比如前我们学过的 Hadoop 项目的 RPC 通信框架，但是 Hadoop 在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所以 Hadoop 的 RPC 显得有些笨重。​ Spark ...

spark_入门03学习笔记1、目标1、掌握sparksql底层原理2、掌握DataFrame和DataSet数据结构和使用方式3、掌握通过sparksql来进行代码开发2、sparksql概述2.1 sparksql前世今生shark它是专门为spark设计的大规模数据仓库系统shark依赖于hive的代码，同时也依赖spark版本后期发现hive的mapre...

Scala1. Scala概述1.1 什么是scala​ Scala是一种多范式的编程语言 , 其设计的初衷是要集成面向对象编程和函数式编程的各种特性 . Scala运行于Java平台(Java虚拟机) , 并兼容现有的Java程序 . 详情查看官网http://www.scala-lang.org1.2 为什么要学Scala优雅速度快 : 表达能力强 ,一行代码抵得上Java多行...

1. 类、对象、继承、特质1.1 类类的定义/*** 在Scala中，类并不用声明为public类型的。* Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person { //用val修饰的变量是可读属性，有getter但没有setter（相当与Java中用final修饰的变量） val id="9527" //用var修饰的变量都既...

spark_01学习笔记1、目标1、掌握spark相关概念2、掌握搭建一个spark集群3、掌握编写简单的spark应用程序2、spark概述2.1 什么是sparkApache Spark™ is a unified analytics engine for large-scale data processing.apache的spark是一个针对于大规模...

Scala Actor并发编程[注] :Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃。1 . 什么是Scala ActorScala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息的发送、接收来实现高并发的。2. Ja...