曾经当程序员的日子

最近要开始学习spark，在搭建spark环境之前，需要先搭建hadoop环境。我参考了这篇文章点击打开链接，但是原文的手动编译没有用上，因为我的linux系统本来就是64位的，直接官网下载编译好的hadoop即可。并且在搭建过程中，发现了原文的一些错误。自己试验改正后，记录如下：1.hadoop尽量安装在当前用户的目录下，否则最后在启动hadoop时，如果是安装在

在linux部署spark集群环境后，在单机模式下启动spark-shell时遇到Tried to associate with unreachable remote address [akka.tcp://sparkMaster@localhost:7077].问题，导致无法启动。解决方法在配置conf/spark-env.sh文件时，将export  MASTER=spark：//127.

综合了网上的一些资料，利用虚拟机，搭建hadoop,spark,hive,mysql的分布式集群。 详细记录了搭建过程遇到的问题和解决方法。需要相关资料和虚拟机文件的可以邮件我。