qq_30589271的博客

Spark是什么 Spark从2012年诞生，在2016年飞速的火了起来，抢占了很多Hadoop的市场份额，其主要的竞争核心就是优于MapReduce，所以让我们开始了解一下Spark吧～ Spark框架 Spark是内部是一个完整的生态系统： 1、Spark Core 处于底层，用于支持不同应用场景的组件 2、Spark SQL 对关系型数据库进行存储 Spark Streaming 对流数据进...

Spark 他爹HadoopSpark和Hadoop的关系Hadoop各个核心组件的作用1、两大核心 HDFS/HBase和MapReduce2、Hive（数据仓库）３、Pig（数据流处理）４、Mahout（数据挖掘库）５、Zookeeper(分布式写作服务)6、Flume(日志收集)7、Sqoop(数据库的ETL工具)8、Ambari(安装、部署、配置、管理工具)9、YARN（资源调度和管理框架...

Scala语言 Spark是使用Scala语言进行开发的，所以虽然Spark支持Python、R语言，但是使用Scala语言编程将会减少Spark将Python、R转换为底层的Scala的过程。 Scala安装和使用方法 1、需要先在linux中安装jdk文件：安装方法见Ubuntu JDK安装方法 2、安装scala，到官网Scala官网下载最新版本的Scala.tgz文件。 3、配置Scala...

Spark学习（五）Scala数据结构（容器，列表，集合，映射） 1、容器（Collection） 1）Scala提供了一套十分丰富的容器（collection）库，包括列表（List）、数组（Array）、集合（Set）、映射（MapR）等 2）根据容器中元素的组织方式和操作方式不同，可以分为有序和无须，可变和不可变的容器类别； 3）Scala使用三个包来组织容器类，分别是scala.colle...

Spark学习（四）Scala语言控制结构 1）if，while，for 循环

Spark学习（六）数据结构（迭代器、数组、元组） 1、迭代器（Iterator） 1）在Scala中迭代器不是一种集合，但是它提供了访问集合的一种方法 2）迭代器包含两个基本操作：next和hasNext。next可以返回迭代器的下一个元素，hasNext用于检测是否还含有下一个元素 如下提供两种访问迭代器内元素的方法： 1）通过迭代器自带的方法访问 val ite=Iterator(“Hado...