具体的安装过程在我以前的博客里面有,大家可以通过以下链接进入操作:
Hadoop的安装:https://blog.youkuaiyun.com/weixin_47580081/article/details/108647420
Scala及Spark的安装:https://blog.youkuaiyun.com/weixin_47580081/article/details/114250894
提示:如果IDEA未构建Spark项目,可以转接到以下的博客:
IDEA使用Maven构建Spark项目:https://blog.youkuaiyun.com/weixin_47580081/article/details/115435536
2、启动Hadoop与Spark
查看3个节点的进程
master
slave1
slave2
3、将文件上传到 HDFS
Shell命令:
[root@master ~]# cd /opt/data/profiledata\_06-May-2005/
[root@master profiledata\_06-May-2005]# ls
[root@master profileda