在Hadoop开发中，通常本地开发完成后将jar包部署到集群运行。遇到的问题是SpringBoot项目打包后，由于MANIFEST.MF指定的主类为SpringBoot的Application，而非WordCount，导致Hadoopjar命令无效。解决方法是不使用SpringBoot的打包插件，直接打包。此外，即使jar包不含Hadoop依赖，也能在装有Hadoop的服务器上运行，因为服务器的classpath包含了这些依赖。
我们在做hadoop开发时，都是本地开发测试完成然后打成jar包，放到hadoop集群环境用hadoop jar命令去运行。
以WordCount代码为例，写完之后，发现springboot项目中打好jar包，运行时指定了主类，但是并没有执行WordCount相关的代码，而是运行了springboot的Application类。
这是因为在springboot的jar包的MANIFEST.MF描述文件中，已经指定了jar包运行的main-class和start-class,此时再用hadoop jar命令就无效了
那怎么解决呢，不要用springboot的maven打包插件，直接打包就行。
还有一个问题，就是我们打的jar是简单jar包，里面不含hadoop相关的依赖jar包，那为什么能用hadoop jar跑起来呢，是因为在装有hadoop的服务器上，跑jar包时，classpath被设置为hadoop中含有这些依赖包的路径，用hadoop classpath可以查看
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
