ddbbff2005的博客

什么是spark：1.他能干MapReduce的活，区别主要放在内存技术，更快，如果内容满了，就内存+磁盘。2.支持编程语言：top1-scala、top2-python、top3-java、top4-R3.大数据计算框架全家桶，包含：批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）4.兼容性...

在之前hadoop的五台虚拟机上，继续安装spark，具体操作步骤如下1.准备环境2.安装JDK3.上传spark安装包4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）mv spark-env.sh.template spark-env.shvi spark-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_11...

首先启动zookeeper集群（前面4天偷懒没搞，刚开始忘记启zookeeper= =！）./zkmanage.sh start/storp启动spark集群./sbin/start-all.shhdp02上启动master./sbin/start-master.sh运行语句bin/spark-submit --master spark://hdp01:7077 --class or...

定于：Spark Shell（是一个交互式的命令行，里面可以写spark程序，方便学习和测试，他也是一个客户端，用于提交spark应用程序）启动（本地单机版-非集群）：./bin/spark-shell上面的方式没有指定master的地址，即用的是spark的local模式运行的（模拟的spark集群用心的过程）./bin/spark-shell --master spark://hdp...

spark任务执行过程如下图Yarn和Spark的StandAlone调度模式对比ResouceManager Master 管理子节点、资源调度、接收任务请求NodeManger Worker 管理当前节点，并管理子进程YarnChild Executor 运行真正的计算逻辑的（Task）Clie...

今天开始学习spak的workcount编程，第一个例子就是scala写的，这里发现，spark与scala紧密结合。所以spark课程先放缓，开始scala学习，写完scala再回来学习spark。...