提示:如果IDEA未构建Spark项目,可以转接到以下的博客:
IDEA使用Maven构建Spark项目:https://blog.youkuaiyun.com/weixin_47580081/article/details/115435536
2、启动Hadoop与Spark
查看3个节点的进程
master
slave1
slave2
3、将文件上传到 HDFS
Shell命令:
[root@master ~]# cd /opt/data/profiledata\_06-May-2005/
[root@master profiledata\_06-May-2005]# ls
[root@master profiledata\_06-May-2005]# hadoop dfs -put artist\_alias.txt artist\_data.txt user\_artist\_data.txt /spark/input
4、实现音乐推荐
源代码:
package com.John.Sp