注意:在windows系统上测试spark代码时如果报缺少winutils.exe的错误,下载下面文件然后解压,需要在程序运行的开始加上
System.setProperty("hadoop.home.dir", "xxx/hadoop-common-2.7.3-bin-master")
文件链接:
hadoop-common-2.7.3-bin-master.zip
打包流程
1.如果不是第一次打包,如果项目中有META-INF目录就把这个文件夹删除,否则会报错
注意:在windows系统上测试spark代码时如果报缺少winutils.exe的错误,下载下面文件然后解压,需要在程序运行的开始加上
System.setProperty("hadoop.home.dir", "xxx/hadoop-common-2.7.3-bin-master")
文件链接:
hadoop-common-2.7.3-bin-master.zip
打包流程
1.如果不是第一次打包,如果项目中有META-INF目录就把这个文件夹删除,否则会报错