welson650的博客

Spark分布式计算原理浅谈

SPARK RDD基础及常用算子浅谈一、什么是SPARK RDD:      RDD是将数据项拆分为多个分区的集合，存储在集群的工作节点上的内存中，并执行正确的操作。RDD是用于数据转换的接口。RDD指向了存储在HDFS、Cassandra、HBase等、或缓存（内存、内存+磁盘、仅磁盘等），或在故障或缓存收回时重新计算其他RDD分区中的数据。      RDD是弹性分布式数据集（R

Apache Spark基础及架构浅谈一、什么是Spark?      Apache Spark是一款由加州大学伯克利分校AMP实验室开发的专为大规模数据处理而设计的快速通用的开源计算引擎。Spark不仅具有Hadoop MapReduce的优点，还具有自己独特的优势，例如，Job的中间输出结果可以存在内存中，从而避免了HDFS的读写操作，使其能够在需要迭代MapReduce的场景下，如数据挖掘和机器学习等，具备更强的数据处理能力。...

scala映射和元组      映射是键/值的对偶集合。Scala有一个通用的叫法–元组–n个对象的聚集，这些对象并不一定是相同类型的。对偶不过是一个n=2的元组。元组在那种需要将两个或更多值聚集在一起的场合特别有用。一、构造映射：a.不可变映射：//两种方式都可以val scores = Map("Alice" -> 10, "Bob" -> 3,"Cindy" -> 8)val scores = Map(("Al.

Scala基础浅谈一、什么是Scala?      Scala是一门多范式编程（面向对象编程、函数式编程）语言，设计初衷是实现可伸缩的语言，并集成面向对象编程和函数式编程的各种特性，具有表达能力强，代码精简的优点。二、Scala的特性:(1)面向对象特性:每个值都是对象对象的数据类型和行为由类（Class）和特征（Trait，类似于interface）描述利用特征实现混入式多重继承(2)函数式编程特性:每个函数都是一个值支