NickZxing

使用Scala编写第一个Spark工程演示目标演示环境创建Spark工程运行Spark工程本地运行Yarn-Cluster运行演示目标在Windows环境中使用Scala编写一个spark工程（WordCount），并分别使用“本地”三种方式运行。在开始之前，请确保HDFS与YARN环境已搭建完毕，可参考下列博文：从0开始搭建Hadoop2.x高可用集群（HDFS篇）从0开始搭建Hadoop2.x高可用集群（YARN篇）演示环境软件备注JDKjdk-8u211Scal

使用IDEA本地调试MapReduce程序演示目标演示环境文件下载完整配置开始调试演示目标在Windows开发环境下，直接使用IDEA运行MapReduce程序，并支持Debug调试。演示环境基于Hadoop2.6.5；启动HDFS与YARN高可用集群环境，可参考以下两篇博客：从0开始搭建Hadoop2.x高可用集群（HDFS篇）从0开始搭建Hadoop2.x高可用集群（YARN...

使用Python编写第一个MapReduce程序演示目标演示环境编写MR编写mapper编写reducer部署MR上传python文件到服务器编写Sheel脚本运行MR演示目标编写一个MapReduce，用于计算文章中所有词语的出现次数（WordCount）。演示环境基于Hadoop2.6.5；完整环境请参考以下两篇博客：从0开始搭建Hadoop2.x高可用集群（HDFS篇）从0...

使用Java编写第一个MapReduce程序演示目标演示环境搭建MR工程配置pom.xml编写WordCountMapper.java编写WordCountReducer.java编写启动类Startup.java打包工程部署MR工程上传jar包到服务器运行jar包演示目标编写一个MapReduce，用于计算文章中所有词语的出现次数（WordCount）。演示环境基于Hadoop2.6....

从0开始搭建Hadoop2.x高可用集群（YARN篇）演示目标演示环境准备YARN配置yarn-site.xml配置mapred-site.xml拷贝配置启动YARN集群验证高可用（HA）演示目标搭建双ResourceManager节点的高可用集群。当主节点发生故障时，standby节点能自动接管并切换为主节点。在开始之前，请确保HDFS环境已搭建完毕，可参考从0开始搭建Hadoop2.x高可...

从0开始搭建Hadoop2.x高可用集群（HDFS篇）演示目标演示环境配置虚拟机使用root用户登录关闭防火墙检查系统时间修改host设置免密登录演示目标搭建双NameNode节点的HDFS高可用集群，其中一台节点的状态为Active，另一台是Standby。当Active节点发生故障时，Standby节点能自动接管并切换到Active状态。演示环境软件备注VMware...