CentOS7 配置HIVE/Sqoop遇到的问题+解决方法汇总

最新推荐文章于 2025-03-21 16:26:02 发布

sinat_33769106

最新推荐文章于 2025-03-21 16:26:02 发布

阅读量781

点赞数

文章标签： H Hive Sqoop 云计算

本文链接：https://blog.youkuaiyun.com/sinat_33769106/article/details/80886709

版权

本文总结了在CentOS7上配置Hadoop伪分布式/完全分布式、Hive以及Sqoop过程中遇到的问题，包括权限不足、静态IP配置、Hadoop进程启动失败、MySQL版本过低、Hive连接MySQL报错、Sqoop类找不到等问题，并提供了详细的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第0部分：一些非常常见的Linux虚拟机操作问题
问题①：centos系统不是用root用户登录的，各种修改和查找操作都提示权限不够
解决方案：要么sudo -i 切换到root用户，要么就每一句都加sudo

问题②：虚拟机配置静态ip（必须配置静态Ip，否则完全分布式互相连不上网就GG了）
教程：https://www.linuxidc.com/Linux/2017-06/144401.htm?hmsr=toutiao.io

【如果出现"ping www.baidu.com"报错"未知的域名或服务"时，DNS1和DNS2最好设置为“8.8.8.8”和“8.8.4.4”】

第一部分：配置Hadoop伪分布式/完全分布式问题汇总

1. 按照教程https://blog.youkuaiyun.com/rogedl/article/details/78946389配置Hadoop安装目录下的四个"-site.xml"
文件。（CentOS 6.8/7 系统为首选系统）配置完成后，首先运行"hadoop namenode -format"和"hadoop datanode -format"，
format完成后，在sbin目录下用命令“./start-all.sh”启动Hadoop的namenode、datanode以及secondarynamenode
【伪分布式环境下所有的节点均位于本机】

问题①：通过./start-all.sh命令运行后，用jps查看进程时发现datanode启动失败