Hadoop
关注
分享
扫一扫
Stackflowed
这个作者很懒，什么都没留下…
展开
-
Hadoop日志查看失败（Failed while trying to construct the redirect url to the log server）
1.问题：Hadoop任务日志查看报错1.1 页面日志查看报错Failed while trying to construct the redirect url to the log server. Log Server url may not be configuredjava.lang.Exception: Unknown container. Container either has ...原创 2020-04-21 15:08:07 · 1036 阅读 · 0 评论 -
Hadoop安装（CentOS7版）
Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS的上一层是MapReduce 引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和...原创 2020-02-01 16:55:21 · 336 阅读 · 0 评论 -
Hadoop退出安全模式（Name node is in safe mode）
核心报错信息：[root@lee000 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3Number of Maps = 2Samples per Map = 320/01/01 23:42:06 WARN util.NativeCodeLoader: Unable to load na...原创 2020-01-02 01:16:29 · 1659 阅读 · 0 评论 -
ShuffleError: error in shuffle in fetcher FileNotFoundException QuasiMonteCarlo
核心错误信息：Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hado...原创 2020-01-02 01:08:11 · 948 阅读 · 0 评论 -
Hadoop中datanode启动失败
NameNode启动失败：[root@lee000 mapreduce]# jps7958 ResourceManager8092 NodeManager7550 DataNode7759 SecondaryNameNode8463 Jps解决方案：NameNode格式化：hadoop namenode -format重新启动：[root@lee000 sbin]# ./...原创 2020-01-02 00:19:11 · 202 阅读 · 0 评论 -
Hadoop格式化NameNode后DateNode无法启动
问题：当Hadoop执行"hadoop namenode -format"命令格式化NameNode后发现DateNode无法启动分析：第一次启动HDFS时，Hadoop会在"hdfs-site.xml"文件配置的"hadoop.tmp.dir"路径（/home/jimmy/install/hadoop_tmp）下的"dfs/name/current"和"dfs/data/current"目...原创 2019-12-31 00:21:32 · 1113 阅读 · 0 评论 -
winutils解决hadoop跨平台问题
当windows本地连接远程linux端hadoop时会报如下错误：java.lang.RuntimeException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems这是因为hadoop...原创 2019-11-27 22:46:47 · 491 阅读 · 0 评论