
hadoop
Kslient
这个作者很懒,什么都没留下…
展开
-
hadoop 异常 There are 0 datanode(s) running
hdfs-site.xml里面的 dfs.datanode.data.dir /tmp/hdfs_tmp与core-site.xml里面的 hadoop.tmp.dir /tmp/hdfs_tmp 两个配置应该是指向同一个目录地址,而且必须是一个已经存在的linux目录(不存在目录的话,在启动ha转载 2017-11-18 22:11:58 · 2044 阅读 · 1 评论 -
执行hadoop jar命令时报Not a valid JAR的原因分析和解决方案
执行hadoop jar命令时报Not a valid JAR错的原因是执行该命令是在本地文件系统下,而非hdfs文件系统,所以若是hdfs上的jar包的路径就会报Not a valid JAR的错误,如下图:改成本地jar包的路径后即可正确执行:hadoop jar Desktop/WordCount.jar mr.WordCount /wsd/input/ /wsd/output/转载 2017-11-17 01:15:54 · 1548 阅读 · 0 评论 -
Hadoop Demo总结
开发环境:maven+Idea 其中熟悉主要是maven的基本使用方法tips 在本地调试完,再上传到集群 注意基本要使用的jar包 hadoop jar 其中的jar包的路径是本地文件系统的路径,不是hdfs的路径 基本api的熟悉...原创 2018-02-26 00:55:44 · 220 阅读 · 0 评论