启动spark后,运行bin/spark-shell会出现一个警告
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

>>提君博客原创 http://www.cnblogs.com/tijun/ <<
虽然不影响运行,但是看着不舒服。下面我整理的解决方法。
方法有两种,亲测可以解决这个问题。
第一种,在linux环境变量里设置linux共享库
vi /etc/profile export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
source一下,问提解决了,就这么的简单。

>>提君博客原创 http://www.cnblogs.com/tijun/ <<
第二种方法,需要设置环境变量和conf/spark-env.sh
环境变量
vi /etc/profile export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/
conf/spark-env.sh
vi conf/spark-env.sh export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

本文提供两种有效方法解决启动Spark后出现的警告信息:1. 在Linux环境变量中设置共享库路径;2. 设置环境变量和配置spark-env.sh文件。
1574

被折叠的 条评论
为什么被折叠?



