CoderBoom的博客

Scala高级特性 1. 高阶函数 Scala 混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。 1.1 作为值的函数 ​ 可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。即函数作为值传递到方法中 定义函数式格式 : val 变量名=(输入参数类型和个数...

目标 : 使用 Akka 实现一个简易版的 spark 通信框架 项目概述 1. 需求 ​ 目前大多数的分布式架构底层通信都是通过 RPC 实现的，RPC 框架非常多，比如前我们学过的 Hadoop 项目的 RPC 通信框架，但是 Hadoop 在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所以 Hadoop 的 RPC 显得有些笨重。 ​ Spark ...

spark_入门03学习笔记 1、目标 1、掌握sparksql底层原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握通过sparksql来进行代码开发 2、sparksql概述 2.1 sparksql前世今生 shark它是专门为spark设计的大规模数据仓库系统 shark依赖于hive的代码，同时也依赖spark版本 后期发现hive的mapre...

Scala 1. Scala概述 1.1 什么是scala ​ Scala是一种多范式的编程语言 , 其设计的初衷是要集成面向对象编程和函数式编程的各种特性 . Scala运行于Java平台(Java虚拟机) , 并兼容现有的Java程序 . 详情查看官网http://www.scala-lang.org 1.2 为什么要学Scala 优雅 速度快 : 表达能力强 ,一行代码抵得上Java多行...

1. 类、对象、继承、特质 1.1 类 类的定义 /** * 在Scala中，类并不用声明为public类型的。 * Scala源文件中可以包含多个类，所有这些类都具有共有可见性。 */ class Person { //用val修饰的变量是可读属性，有getter但没有setter（相当与Java中用final修饰的变量） val id="9527" //用var修饰的变量都既...

spark_01学习笔记 1、目标 1、掌握spark相关概念 2、掌握搭建一个spark集群 3、掌握编写简单的spark应用程序 2、spark概述 2.1 什么是spark Apache Spark™ is a unified analytics engine for large-scale data processing. apache的spark是一个针对于大规模...

Scala Actor并发编程 [注] :Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃。 1 . 什么是Scala Actor Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息的发送、接收来实现高并发的。 2. Ja...