happyzwh的专栏

Spark2.x 与 Spark1.x 关系 Spark2.x 引入了很多优秀特性，性能上有较大提升，API 更易用。在“编程统一”方面非常惊艳，实现了离线计算和流计算 API 的统一，实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spark 2.x 基本上是基于 Spark 1.x 进行了更多的功能和模块的扩展，及性能的提升。 Spark2.x 新特性 1). S...

大数据的特征4v 1、大量 2、多样 3、快速 4、价值 如何存储和计算大数据 大数据交易 加州大学伯克利分校AMP实验室 spark 读取HDFS的数据到内存，在内存中使用弹性分布式数据集RDD组织数据 支持常见的mapreduce范式，还支持图形计算、流计算 spark支持scala、python、R RDD主要分两类操作： 1、转换（transformation） 2、动作  ...