003__Hadoop常见问题

Hadoop启动停止及MapReduce常见问题

原创已于 2023-02-06 23:03:24 修改 · 142 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #hdfs

于 2023-02-06 15:54:08 首次发布

大数据全部内容复习总结专栏收录该内容

12 篇文章

订阅专栏

博客主要介绍了Hadoop相关的常见问题，包括start-dfs.sh和stop-dfs.sh、start-yarn.sh和stop-yarn.sh的启动停止问题，以及mapreduce启动不起来的问题。对于mapreduce问题，需检查配置，可将路径改为真实路径或补充缺失配置，且有时${HADOOP_HOME}会失效。

常见的问题

start-dfs.sh和stop-dfs.sh启动停止问题

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh 和stop- yarn.sh启动停止问题

RN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
YARN_RESOURCEMANAGER_USER=root

mapreduce启动不起来的问题: yarn-site.xml 配置这个: value值的获取:　hadoop classpath

<property>
    <name>yarn.application.classpath</name>
    <value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*</value>
</property>