hadoop 应用遇到的问题

最新推荐文章于 2024-09-16 09:00:00 发布

原创最新推荐文章于 2024-09-16 09:00:00 发布 · 774 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

Web 专栏收录该内容

63 篇文章

订阅专栏

本文详细介绍了在使用Hadoop相关库与SpringMVC项目整合时遇到的java.lang.UnsupportedOperationException和java.lang.NoSuchMethodError错误，并提供了相应的解决方案。同时，文章还探讨了Hadoop文件系统在多线程环境下多次close导致的问题及其解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、java.lang.UnsupportedOperationException: Not implemented by the DistributedFileSystem FileSyste，这个错误我在maven依赖中本来是加了三个依赖：

<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-common</artifactId>
	<version>2.6.0</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-client</artifactId>
	<version>2.6.0</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-core</artifactId>
	<version>1.2.1</version>
</dependency>

然后很诡异的是，我直接在自己打包的hadoop工具类主函数中调用是不会有问题，但是放到springmvc项目中其他类中调用，就一直报这个错误，然后去掉了 hadoop-core 依赖之后，就没报这个错误了。

2、java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationResult.getProblems()，这个错误应该是有余是Hadoop相关jar中依赖jetty、servlet等第三方jar包和当前项目中的有冲突，自己的 maven 项目中把不需要的依赖去掉，减少不必要的麻烦

3、Hadoop Filesystem 多次close的问题：

然后我就查，为什么呢。我刚刚用final FileSystem dfs = FileSystem.get(getConf()); 得到它啊。后来发现，我是一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去get一个文件系统，然后使用，然后关闭，就会有问题。因为你们关闭的可能是同一个对象。而别人还在用它！所以最好是在main函数中就创建好filesystem对象然后在不同函数之间来回传递吧。在main函数用用try…finally关闭它。多线程程序中，如果你确保在你的get和close之间不会有别人调用get，也没问题。

4、Name node is in safe mode 重启之后的hdfs可能会遇到这个问题，执行一下这句：

hadoop dfsadmin -safemode leave

持续更新。。。