叶为正的博客

WordCount程序首先看来一个快速入门案例，单词计数这个需求就是类似于我们在学习MapReduce的时候写的案例需求这样的：读取文件中的所有内容，计算每个单词出现的次数这个需求就没什么好分析的了，咱们之前在学习MapReduce的已经分析过了，接下来就来看一下使用 Spark需要如何实现。Scala代码开发这里先使用Scala开发，sdk版本为：scala-2.11.12以下为配置scala sdk与scala开发目录的步骤：开发环境配置完毕最后需要添加Spark的maven依赖

下面我们来分析一下Spark的工作原理 来看这个图首先看中间是一个Spark集群，可以理解为是Spark的 standalone集群，集群中有6个节点左边是Spark的客户端节点，这个节点主要负责向Spark集群提交任务，假设在这里我们向Spark集群提交 了一个任务那这个Spark任务肯定会有一个数据源，数据源在这我们使用HDFS，就是让Spark计算HDFS中的数据。 当Spark任务把HDFS中的数据读取出来之后，它会把HDFS中的数据转化为RDD，RDD其实是一个弹性分 布式数据集，它其实是

Spark集群安装部署Spark集群有多种部署方式，比较常见的有Standalone模式和ON YARN模式Standalone模式就是说部署一套独立的Spark集群，后期开发的Spark任务就在这个独立的Spark集 群中执行ON YARN模式是说使用现有的Hadoop集群，后期开发的Spark任务会在这个Hadoop集群中执行， 此时这个Hadoop集群就是一个公共的了，不仅可以运行MapReduce任务，还可以运行Spark任务， 这样集群的资源就可以共享了，并且也不需要再维护一套集群了，减少了

因为考虑到删除时每个页面都有的，所以把一个js’写在common。js中，并在common。jsp中进行调用和调用jq。js，这样直接导入到jsp，当页面加载的时候，自然也就为删除添加了js事件var common = { myconfig:function(message){ return window.confirm(message); }};$().read