学习笔记

0. Scala简介 多范式 类似java, 可调用Java类库, 运行于JVM 初衷是实现可伸缩的语言 集成面向对象编程和函数式编程的各种特性 IDE选择idea 1. 入门 支持的数据类型 Scala中不存在基础数据类型,一律以类的形式出现 数据类型 含义 Byte 8位整数,-128~127 Short 16位整数,-32768~3276...

1.Spark概念和特点 Spark是什么 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎 是开源的,基于内存计算的大数据并行计算框架 由UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室) 开发 拥有Hadoop MapReduce的优点, 同时避免读写HDFS Spark和Hadoop MR的关系 Spark 启用了内存分布数...

1. Windows本地调试 依赖包版本(Maven下载),scope模式为complie <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spark.version>2.2.0</spark.version> <s...