当运行 hadoop jar 运行任务时,如果系统有设置 hadoop_classpath,会将 hadoop_classpath 变量赋值给 classpath,所以只能通过 hadoop_classpath 来设置第三方依赖包。否则会出现如下异常:
Caused by: java.lang.ClassNotFoundException
如果用户依赖 和 hadoop 自带依赖,都有某个 jar,但是版本不同,可能会导致依赖冲突,可通过如下设置决定是先加载用户依赖,还是 hadoop 自带依赖:
# 先加载用户依赖,默认为 false
export HADOOP_USER_CLASSPATH_FIRST=true
本文介绍了在使用Hadoop运行任务时如何正确配置classpath以避免依赖冲突问题。当用户依赖与Hadoop自带依赖存在版本差异时,可通过设置HADOOP_USER_CLASSPATH_FIRST环境变量来指定加载顺序。
3687

被折叠的 条评论
为什么被折叠?



