Hadoop实验常见的错误总结

最新推荐文章于 2024-09-07 20:12:06 发布
原创 最新推荐文章于 2024-09-07 20:12:06 发布 · 3.4k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop

本文详细介绍了Hadoop集群搭建过程中可能遇到的问题及解决方案，包括环境变量配置、防火墙设置、进程启动失败、JAVA_HOME配置错误等问题，并提供了解决步骤和技巧。

文章目录

1、bash: *****: command not found…（未找到命令）

  1. bash: hdfs: command not found…
            没有配置hadoop开发环境，需要进行hadoop部署安装第五部，来配置Hadoop的环境变量，JDK的环境变量和Hadoop的环境变量不一样，这两个环境变量都需要配置

  2. bash: java: command not found…
           没有配置java安装包，安装方式参考:
    https://blog.youkuaiyun.com/xujingran/article/details/83905273完成后执行。
            yum list|grep openjdk,查看JDK的版本。执行yum install java-1.7.0-openjdk-devel.x86_64。安装成功后即可继续执行jps即可。

  3. bash: hadop: command not found…
            执行vim ~/.bashrc，没有进行source ~/.bashrc命令

  4. 输入echo $JAVA_HOME和java -version不成功
            需要source ~/.bashrc让其生效在执行echo $JAVA_HOME和java -version即可。

2、显示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: linuxprobe: linuxprobe等信息

        表示没有成功执行hdfs namenode -format格式化命令
        需要关闭防火墙，关闭防火墙命令为：service iptables stop。检查防火墙是否关闭命令为：service iptables status。

3、执行start-dfs.sh只输入了一次或者两次密码就结束了开启状态

        只输入了一次密码就结束是没有开启NameNode进程，需要仔细查看core-site.xml文件，有输入错误。输入了两次密码则表示NameNode进程没有开启DataNode进程，需要仔细查看hdfs-site.xml文件，有输入错误。

4、提示Error:JAVA_HOME is not set and could not be found

        JAVA_HOME没有配置成功，需要进入/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件下找到export JAVA_HOME=${JAVA_HOME}，把它修改为JAVA安装路径的具体安装地址。

5、NameNode无法启动

      $bin/hadoop dfsadmin -safemode leave
       关闭 safemode即可

6、都启动成功了，但是输入jps命令，只要jps一项，没有别的项目

       如果用户名不是localhost，则需要进入/etc/hosts中添加一条内容，如：127.0.0.1 linuxprobe，保存重新执行jps即可解决

7、出现Error: No command named -version’ was found. Perhaps you meant hadoop version

    将hadoop version输成了hadoop -version。Java检验是用java -version 而hadoop是直接输入hadoop version。

未找到 ‘hdfs‘ 命令，您要输入的是否是： 命令 ‘hfs‘ 来自于包 ‘hfsutils-tcltk‘ (universe) 命令 ‘hdfls‘ 来自于包 ‘hdf4-tools‘ ....
weixin_45528773的博客
04-19 3859
未找到 'hdfs' 命令的解决方法
Hadoop伪分布式搭建实验总结
Scrutiny的博客
01-13 9666
实验1： 启动一个AWS实例，并且将它改变大小，以及对其进行监控和管理。 创建EC2实例 观察实例的参数 更新安全组协议，增加web服务（http协议） 重新定义实例大小：实例的类型和EBS卷 探索EC2的限制 尝试终止保护 实验2： 创建一个Amazon弹性存储块（Amazon EBS），将EBS挂载到一个EC2实例上，在EBS上创建并配置文件系统，以及用快照实现EBS的备份和恢...
HDFS EXERCISES
BIT_mk的博客
03-17 1000
是一个在Linux和Unix系统中用于Bash shell的配置文件。当你启动一个新的终端会话时，或者在命令行中启动一个新的Bash实例时，该文件会被自动读取并执行。文件中包含的命令用于配置终端会话的。符号，它告诉 shell 去获取与紧随其后的文字对应的变量的值。在 Bash 和其他类 Unix 操作系统的 shell 中，符号用于访问变量的值。这可能是因为hdfs命令不在系统环境变量中。目录添加到PATH环境变量中。我们可以手动启动datanode。当你定义了一个变量，比如。找到hadoop的位置。
bash: hdfs: command not found
热门推荐
a295277302的博客
06-04 3万+
在执行 hdfs dfs -mkdir -p /usr/input/hot 遇到问题 bash: hdfs: command not found 解决方案： 在/etc/profile下添加hadoop的文件路径  export HADOOP_HOME=/home/hadoop-2.5/bin  export PATH=$PATH:$HADOOP_HOME
配置完Hadoop集群，bash: start-hdfs.sh: 未找到命令的解决办法。
m0_61475271的博客
09-07 1993
bash: start-hdfs.sh: 未找到命令的解决办法。
搭建Hadoop报错汇总（那些曾经踩过的坑）
Miracle1203的博客
03-18 2935
1.-bash: hadoop: command not found 解决： 首先检查自己hadoop文件是否成功上传解压放在了指定目录下，再查看自己的/etc/profile文件下是否把HADOOP_HOME的环境变量配好了，注意文件目录是否写对。 2. ...
实验一Hadoop平台的安装
qq_73931224的博客
06-12 1394
(2)全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh，停止服务，输入命令，sbin/stop-all.sh。Vi /home/hadoop/hadoop-3.1.2/etc/hadoop/yarn-site.xml 编辑如下内容。Vi /home/hadoop/hadoop-3.1.2/etc/hadoop/hadoop-env.sh,添加这一行。修改之后就可以连接上了。
截图版说明：Hadoop实验参照手册一（安装VMware与CentOS）.pdf
12-23
### Hadoop实验参照手册 #### 实验目标概述 - **个人目标**：掌握VMware的安装与基本使用；学会在Linux环境下进行基础配置，包括IP地址、hosts文件及网络设置；能够独立完成Hadoop系统的安装及运行。 - **团队目标*...
Hadoop的安装部署与配置实验 共11页.pdf
03-20
下面是 Hadoop 的安装部署与配置实验总结。 一、实验环境准备 在进行 Hadoop 安装部署与配置实验之前，需要准备好实验环境。这里使用 VMware 和 Ubuntu 12.04 LTS 64bit 作为虚拟机的操作系统。首先，需要安装 JDK...
Hadoop总结
Ajekseg的博客
07-29 1731
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...
Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法
drhrht的博客
04-03 5549
分析原因： hadoop的安装路径没有加入到当前路径中 解决办法： 方法1： 进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin ./sbin 方法2: 进入/etc/profile文件中添加hadoop的安装路径 sudo vim /etc/profile 添加： export HADOOP_HOME=本机的hadoop安装路径 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 例如： 保存后退出后 source
hdfs: command not found hadoop2.8.5
qq_740785701的博客
10-19 913
cd /home/angel/ vim.tiny .profile
HDFS操作时hadoop:未找到命令的解决办法
DZFinder的博客
03-16 1万+
HDFS操作时hadoop:未找到命令的解决办法 错误如下： 进行HDFS操作时未找到命令 解决办法 （1）sudo进入profile文件 sudo vim /etc/profile （2）将以下三条加到profile文件的最后 export JAVA_HOME=/usr/lib/jvm/(自己的jdk版本路径) export HADOOP_HOME=usr/local/hadoop(自己的...
hadoop配置时遇到的常见问题
shenhongdb的博客
04-10 779
1.当启动hadoop时候，执行sh start-dfs.sh时报错 解决方案：将sh start-dfs.sh改成 ./start-dfs.sh即可通过。 2.当用hadoop fs -ls / 的时候出现 hadoop: command not found的问题 解决方案：环境变量设置（vim /etc/peofile 将hadoop的安装目录加入
hdfs: command not found
b'd的博客
05-10 5419
hadoop：未找到命令 的解决办法
dianzishijian的专栏
08-10 2万+
Hadoop安装完成后，想执行hadoop命令，结果报错：hadoop：未找到命令。 原因是hadoop的安装路径没有加入到当前路径中。解决办法有两个： 一．进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin  ./sbin 二．在/etc/profile文件中添加hadoop的安装路径： sudo vim /etc/profile 加入： export HAD
Linux常见问题
未名
04-04 977
1.如何切换至root用户打开终端，方法1.输入：sudo     输入密码后，就进入root用户了                方法2.输入：sudo -i  输入密码，就进入root用户了。2.putty或XSehll连接linux，提示拒绝。   在乌班图系统下，常出席这种问题。因为，乌班图系统，默认的情况下，是没有安装ssh服务的。详情见：https://www.linuxidc.com...
Hadoop: command not found，控制台中hadoop命令无法找到或无法直接运行。彻底解决办法：在系统中添加环境变量
Tesla的博客
03-17 3798
Hadoop: command not found，控制台中hadoop命令无法找到或无法直接运行。彻底解决办法：在系统中添加环境变量。
Hadoop介绍和安装(一)
qq_29860591的博客
01-13 267
简介 主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。 铺垫 人产生数据的速度越来越快，机器则更加快，more data usually beats better algorithms，所以需要另外的一种处理数据的方法。 硬盘的容量增加了，但性能没有跟上，解决办法是把数据分到多块硬盘，然后同时读取。但带来一些问题：...
完成hadoop部署实验
最新发布
03-30
### Hadoop 集群部署实验指南 以下是关于如何完成 Hadoop 集群部署的完整步骤： #### 1. 准备工作环境 在开始之前，需确保所有节点的操作系统已安装完毕，并配置好无密码 SSH 登录功能。此外，还需设置主机名解析以及 Java 环境变量。 - **SSH 密钥分发**：为了实现免密登录，在主节点上生成公私钥对并将公钥复制到其他节点。 ```bash ssh-keygen -t rsa ssh-copy-id hadoop@node2 ssh-copy-id hadoop@node3 ``` 此操作允许主节点无需输入密码即可访问从节点[^1]。 --- #### 2. 下载并解压 Hadoop 软件包 下载最新版本的 Hadoop 并将其放置于指定路径下，通常建议放在 `/opt/module` 或类似的目录结构中。 ```bash wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.3.4.tar.gz tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/ ``` 创建软链接以便简化管理命令行工具时更便捷[^2]。 ```bash ln -s /opt/module/hadoop-3.3.4 /opt/module/hadoop ``` --- #### 3. 修改核心配置文件 编辑 `core-site.xml`, `hdfs-site.xml`, 和 `mapred-site.xml` 文件来定义存储位置、副本数量以及其他参数。 ##### core-site.xml 设定 NameNode 的 URI 地址及其临时数据保存地址。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/tmp</value> </property> </configuration> ``` ##### hdfs-site.xml 调整 DataNode 副本数至适合集群规模的数量。 ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` ##### mapred-site.xml 指明 MapReduce 应用框架运行模式为 YARN。 ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` --- #### 4. 启动 Hadoop 集群服务 依次启动 HDFS 和 YARN 组件，验证各进程状态正常运转。 ```bash /opt/module/hadoop/sbin/start-dfs.sh /opt/module/hadoop/sbin/start-yarn.sh jps ``` 通过 JPS 工具确认各个角色对应的守护线程均已激活，例如 NameNode, SecondaryNameNode, ResourceManager 及 NodeManager 这些关键组件均应可见。 --- #### 5. 测试分布式计算能力 上传测试文件集到 HDFS 上面用于执行简单的 WordCount 类型作业或者查看是否存在错误日志记录情况。 ```bash hdfs dfs -mkdir -p /user/hadoop/input hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input/ ``` 提交一个基础样例程序检验整个流程是否通畅无障碍[^3]。 ```bash yarn jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /user/hadoop/input /user/hadoop/output ``` --- #### 总结 以上即完成了基于 Linux 平台之上构建起一套完整的 Apache Hadoop 分布式处理平台所需经历的主要环节概述说明文档[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值