libhdfs 报错和解决方法

最新推荐文章于 2024-04-03 15:08:57 发布

原创最新推荐文章于 2024-04-03 15:08:57 发布 · 3.6k 阅读

3 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

0 篇文章

订阅专栏

本文档详细介绍了在使用libhdfs时可能遇到的常见错误，并提供了相应的解决方法，帮助开发者更好地理解和解决HDFS相关问题。

使用libhdfs时，一定要把jdk的ｃlib路径添加进　/etc/ld.so.conf 中

/usr/local/lib/jdk1.8.0_45/jre/lib/amd64
/usr/local/lib/jdk1.8.0_45/jre/lib/amd64/server

否则报link错误．

另一个错误是运行时

loadFileSystems error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)

这个是找不到相关jar包

解决方法是将hadoop里的jar添加进CLASSPATH环境变量里

/etc/profile

export HADOOP_HOME=/your/hadoop/hadoop-2.7.0/share
export HADOOP_CLASSPATH=.
for f in $HADOOP_HOME/hadoop/common/hadoop-*.jar; do
        HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f
done
for f in $HADOOP_HOME/hadoop/common/lib/*.jar; do
        HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f
done

for f in $HADOOP_HOME/hadoop/mapreduce/hadoop-*.jar; do
        HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f
done
for f in $HADOOP_HOME/hadoop/hdfs/hadoop-*.jar; do
        HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f
done

export CLASSPATH=.:$HADOOP_CLASSPATH:$CLASSPATH