Hadoop实验常见的错误总结

本文详细介绍了Hadoop集群搭建过程中可能遇到的问题及解决方案,包括环境变量配置、防火墙设置、进程启动失败、JAVA_HOME配置错误等问题,并提供了解决步骤和技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、bash: *****: command not found…(未找到命令)

  1. bash: hdfs: command not found…
            没有配置hadoop开发环境,需要进行hadoop部署安装第五部,来配置Hadoop的环境变量,JDK的环境变量和Hadoop的环境变量不一样,这两个环境变量都需要配置

  2. bash: java: command not found…
           没有配置java安装包,安装方式参考:
    https://blog.youkuaiyun.com/xujingran/article/details/83905273完成后执行。
            yum list|grep openjdk,查看JDK的版本。执行yum install java-1.7.0-openjdk-devel.x86_64。安装成功后即可继续执行jps即可。

  3. bash: hadop: command not found…
            执行vim ~/.bashrc,没有进行source ~/.bashrc命令

  4. 入echo $JAVA_HOMEjava -version不成功
            需要source ~/.bashrc让其生效在执行echo $JAVA_HOMEjava -version即可。

2、显示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: linuxprobe: linuxprobe等信息

        表示没有成功执行hdfs namenode -format格式化命令
        需要关闭防火墙,关闭防火墙命令为:service iptables stop。检查防火墙是否关闭命令为:service iptables status

3、执行start-dfs.sh只输入了一次或者两次密码就结束了开启状态

        只输入了一次密码就结束是没有开启NameNode进程,需要仔细查看core-site.xml文件,有输入错误。输入了两次密码则表示NameNode进程没有开启DataNode进程,需要仔细查看hdfs-site.xml文件,有输入错误。

4、提示Error:JAVA_HOME is not set and could not be found

        JAVA_HOME没有配置成功,需要进入/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件下找到export JAVA_HOME=${JAVA_HOME},把它修改为JAVA安装路径的具体安装地址。

5、NameNode无法启动

      $bin/hadoop dfsadmin -safemode leave
       关闭 safemode即可

6、都启动成功了,但是输入jps命令,只要jps一项,没有别的项目

       如果用户名不是localhost,则需要进入/etc/hosts中添加一条内容,如:127.0.0.1 linuxprobe,保存重新执行jps即可解决

7、出现Error: No command named -version’ was found. Perhaps you meant hadoop version

    将hadoop version输成了hadoop -version。Java检验是用java -version 而hadoop是直接输入hadoop version

### 常用Linux操作 在大数据实验中,掌握一些常见的Linux操作是非常重要的。这些操作可以帮助用户更高效地管理文件、查看系统状态以及执行其他必要的任务。以下是几个常用的Linux命令: - **文件和目录操作**: `ls`, `cd`, `mkdir`, `rm` 和 `cp` 是最基本的用于浏览和修改文件系统的命令[^1]。 - **权限管理**: 使用 `chmod` 可以更改文件或目录的访问权限;`chown` 则用来改变文件的所有者。 - **文本处理工具**: 如 `cat`, `grep`, `awk`, 和 `sed` 这些工具对于查找特定字符串或者编辑大量文本非常有用。 - **压缩解压**: 对于大容量的数据集来说,学会如何使用 `tar` 或 `gzip` 来打包和压缩文件也是必不可少的一项技能。 ```bash # 创建新目录并进入该目录 mkdir new_directory && cd $_ # 查找当前路径下包含关键词 'error' 的日志文件 find . -name "*.log" | xargs grep error ``` --- ### Hadoop基础命令 Hadoop提供了丰富的命令来管理和监控集群中的数据存储与计算资源。下面列举了一些最常使用的Hadoop命令: - **启动/停止服务节点**: 通过 `/hadoop/hadoop/sbin/hadoop-daemon.sh start|stop datanode` 控制DataNode的服务启停[^3]。 - **上传下载文件到HDFS**: 使用 `-put` 将本地文件复制至分布式文件系统上, 而 `-get` 执行相反的操作。 ```bash hadoop fs -put /local/path/to/file.txt /hdfs/target/directory/ ``` - **查询HDFS上的元信息**: 比如显示某个具体位置下的内容列表(`-ls`)或是统计整个目录大小(`du -s`)等功能均可以通过简单的CLI指令完成。 - **删除不需要的内容**: 当不再需要某些数据时可利用 `-rmr` (递归移除) 清理掉它们。 --- ### 实验心得总结 参与此次关于熟悉常用Linux及Hadoop操作的大数据分析课程后发现,在实际动手实践之前确实存在较多陌生领域需提前学习准备。例如刚开始接触各类Shell脚本编写技巧还有理解MapReduce工作流程等方面的知识点都需要额外花时间去深入研究才能更好地适应后续更加复杂的编程需求。 另外值得注意的一点是在调试阶段经常会碰到各种各样意想不到的小错误但是只要耐心寻找原因几乎都能找到对应的解决方案这不仅锻炼了自己的问题排查能力同时也增强了面对困难的信心水平最后成功完成后也获得了极大的成就感[^2]. 尽管像Hive这样的技术虽然基于较慢的MapReduce框架但在适当场景下仍然具有其独特优势; 同样Kylin凭借预计算方式实现了快速响应特性从而吸引了越来越多用户的青睐显示出不同工具有着各自适用范围的重要性[^4]. ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值