在使用Hadoop 2.7时遇到加载native-hadoop库失败的问题，通过在hadoop-env.sh中设置HADOOP_OPTS解决了此问题。执行Hadoop jar命令时需要注意输入目录必须在HDFS中预先创建，且输出目录不能已存在以防止数据覆盖。此外，介绍了如何将文件上传至HDFS，查看文件内容以及从HDFS下载文件到本地的步骤。
修改日志级别:
开启：export HADOOP_ROOT_LOGGER=DEBUG,console
关闭：export HADOOP_ROOT_LOGGER=INFO,console
异常内容:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
详细异常内容:Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError
解决方案是在文件hadoop-env.sh中增加：
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
问题:执行hadoop jar jar/hadoop-demo-1.0-SNAPSHOT.jar WordCountMain input/12.txt /usr/zx/hadoop/hadoop2.7/output2
提示:user/root/input 不存在. 需要在hdfs中创建出来
提示:output2已经存在,是因为hadoop为避免直接覆盖数据造成用户数据丢失.所以输出目录不能已存在
HDFS
1,添加文件到hdfs. bin/hadoop fs -put input/12.txt /user/root/input/
2,查看hdfs文件.hadoop fs -cat hdfs://localhost:9000/user/root/output2/part-r-00000
3,复制hdfs文件到本地磁盘.hadoop fs -get hdfs://localhost:9000/user/root/output2/part-r-00000 /usr/zx/hadoop/
扫一扫
581
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
