Hadoop+Spark分布式安装（Ubuntu）

1. Hadoop安装教程_单机/伪分布式配置
2. Hadoop集群安装配置教程
3. Spark 2.0分布式集群环境搭建
4. 按上述搭建后，无法以spark on yarn运行。参考spark on yarn 配置及异常解决，配置各节点的yarn-site.xml，添加

   <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
   </property>
   
   <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
   </property> 

   spark on yarn 启动成功。至此hadoop+spark分布式搭建完成。