（问题记录）部署Hadoop+MySQL+Hive遇到的问题

最新推荐文章于 2025-02-15 23:54:38 发布
原创 最新推荐文章于 2025-02-15 23:54:38 发布 · 638 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档记录了在Windows环境下，使用VMware部署Hadoop+MySQL+Hive过程中遇到的问题及解决方案。主要问题集中在Hadoop的NameNode和DataNode的namespaceID不一致导致的启动失败，通过删除NameNode的name文件夹并重新格式化解决了该问题，但DataNode的datanode和tasktracker未能正常启动。通过分析日志，深入理解了Hadoop集群的运行状态。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

操作目的

部署Hadoop+MySQL+Hive跑基于亿级文本数据的多表联合查询的任务

/*-------------------------部署环境-------------------------*/

主环境描述

主操作系统：Windows 7 SP1 64bit

安装内存：8.00GB（7.89GB可用）

虚拟机环境描述

虚拟机版本：VMware Workstation 10.0.0

虚拟操作系统：CentOS 6.5 64bit

网络环境描述

主系统网络：长城宽带50M

虚拟机操作系统网络：NAT

/*-------------------------Hadoop-------------------------*/

权限说明

为方便达到目的且无安全风险，故不专门设置Hadoop群组重新进行权限配置，全部操作都在root用户下进行

Hadoop配置

master 192.168.120.165

slave1 192.168.120.166

slave2 192.168.120.167

问题1描述

当非第一次使用格式化NameNode语句

<span style="font-size:18px;"># hadoop namenode -format</span>
会出现提示语 

<span style="font-size:18px;">Re-forma
最低0.47元/天 解锁文章

200万优质内容无限畅学
AlexWoo24
关注
Hadoop搭建注意事项及可能出现的问题
weixin_50838407的博客
11-28 2209
先创建虚拟机，改名，关闭防火墙，配置IP(ens33) 重启 创建完整性克隆 另外两台修改ip（ens33） 然后改名，关闭防火墙 重启网卡 重启虚拟机 连接xshell 该做免密时，注意三台虚拟机都需要 vi /etc/hosts 192.168.189.101 master 192.168.189.102 slave1 192.168.189.103 slave2 配置环境不要用PPT里的 vi/etc/profile中 用PPT里的的环境 export JAVA_HOME=/usr/loca.
快速部署Hadoop+MySQL+Hive+Spark的集群
m0_56467966的博客
04-16 3952
对于学习Hadoop时，可能有朋友想快速搭建一个Hadoop集群，所有我现在自己将觉得是可以快速的方法分享给大家，大多数的配置参数是来自我们老师发给我们的文档的，如果你有自己想要的配置参数可以查看Hadoop的文档Hadoop文档。 这个文章是主要是写给我们班上的同学的，是学习记录，如果有什么错误之处，还请大佬指点，谢谢！ 如果需要下载linux的CentOS镜像文件可以参考：Centos6.5镜像下载_你的破壁人呀的博客-优快云博客_centos6.5 对于在VMware Workstation
hadoop集群搭建-Mysql安装
qq_36711289的博客
09-05 2571
## 安装的版本是MySQL-5.6.22-1.el6.i686.rpm-bundle.tar 其他版本安装步骤基本一致，官网进行下载## 1.查看CentOS自带的mysql 1 1.1输入：rpm-qa|grep-imysql 2.将自带的mysql卸载 2.1输入: rpm -e –nodeps mysql-XXXX.i686 3.删除原旧版本剩余的文件 rm -rf
安装Hadoop中遇见的问题及解决方法
m0_64402204的博客
05-13 1222
又回头重新执行vim编辑器配置java环境，检查 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162命令是否正确，继续执行source ~/.bashrc使配置生效，再次查询hadoop是否可用。3.安装hadoop后查看hadoop是否可用，执行./bin/hadoop version命令时显示JAVA_HOME is not found 报错，但是java环境是已经配置好了的。试了多种解压缩方法仍然报错，后来重新下载文件重新解压缩就成功了，应该是文件下载不完整导致的。
大数据开发之Hadoop学习4---环境搭建常见错误及解决方案
LCreator的博客
03-01 394
常见错误及解决方案 1）防火墙没关闭、或者没有启动YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP地址配置错误 4）ssh没有配置好 5）root用户和atguigu两个用户启动集群不统一 6）配置文件修改不细心 7）未编译源码 Unable to load native-hadoop library for your platfo
Hadoop搭建常见问题总结
xcz8023的博客
09-28 1859
Hadoop搭建常见问题总结
大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
qq_41946216的博客
11-15 1万+
-是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在集群中部署Redash，需要配置数据源连接，如Hive、MySQL或Elasticsearch。 综上所述，搭建这样一个大数据集群需要深入了解每个组件的特性和配置要求，同时还需要具备一定的网络和系统管理知识。过程中可能遇到的...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属...
预留：大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
qq_41946216的博客
02-15 1461
注意：默认情况下，GBLIC版本的数据库要求安装到/usr/local/mysql目录，其mysql.server脚本中对应的目录也是/usr/local/mysql，这会导致mysql无法启动。#例如： rm -rf /etc/selinux/targeted/active/modules/100/mysql # rm -rf /var/lib/mysql。vi /etc/syscnfig/network-scripts/ifcfg-eth1 ---- 根据自己网卡设置。
win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx
09-17
在Windows 10环境下搭建Hadoop生态系统，包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件，是一项繁琐但重要的任务，这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
大数据技术之Hadoop概述集群环境搭建常见错误解决等
java_Waaangzy的博客
11-03 1961
hadoop简介系统推荐及环境搭建，超详细
Hadoop环境搭建及常见问题解决（保姆级教程）
热门推荐
tangyi2008的专栏
12-13 1万+
学习大数据的路上，肯定少不了Hadoop的陪伴。 在学习Hadoop之初，一件"痛苦"的事情莫过于装环境，看着别人万事亨通，而自己跌跌撞撞，个中心酸，有几人懂... 本教程为保姆式教程，力图帮您排忧解难。 主要内容如下：【资源准备】 => 【环境准备】 => 【JDK的安装】 => 【Hadoop的安装】 => 【伪分布式的配置】 => 【启动与测试】 => 【常见错误及解决办法】
美赛教程&建模&数据分析&案例分析&文档写作&编程实现等资源
08-16
美赛教程&建模&数据分析&案例分析&文档写作&编程实现等资源
自动驾驶场景库的提取方案及实现代码解析 自动驾驶场景库提取方案与实现代码详解 自动驾驶场景库提取方案及实现代码设计 自动驾驶场景库提取方案及实现代码构建 自动驾驶场景库提取方案及实现代码方案 自动驾驶
08-16
资源下载链接为： https://pan.quark.cn/s/8471dd710e10 自动驾驶场景库的提取方案及实现代码解析 自动驾驶场景库提取方案与实现代码详解 自动驾驶场景库提取方案及实现代码设计 自动驾驶场景库提取方案及实现代码构建 自动驾驶场景库提取方案及实现代码方案 自动驾驶场景库提取方法及实现代码方案 自动驾驶场景库提取方案及实现代码研究 自动驾驶场景库的提取方案及实现代码 自动驾驶场景库提取完整方案及实现代码 自动驾驶场景库提取方案及实现代码详述（最新、最全版本！打开链接下载即可用！）
基于 YoloP 模型打造的自动驾驶感知工具
08-16
资源下载链接为： https://pan.quark.cn/s/bd85ece37e57 基于 YoloP 模型打造的自动驾驶感知工具（最新、最全版本！打开链接下载即可用！）
海底管道腐蚀缺陷生长与多物理场耦合分析综述（含详细代码及解释）
08-16
内容概要：本文深入探讨了海底管道在运行压力和轴向位移作用下腐蚀缺陷生长的影响。基于多物理场耦合和变形几何的三维有限元模型，模拟了海底管道在海洋泥浆环境中的缺陷生长过程。研究揭示了更深的缺陷和更大的运行压力会增强局部应力集中和腐蚀速率；腐蚀速率随管道轴向位移呈现先减小后增大的趋势；运行压力导致管道优先在缺陷底部腐蚀，而轴向位移则倾向于在整个缺陷表面形成均匀腐蚀。文章还提出了一种基于非稳态多物理场模拟的海底管道剩余寿命评估方法，并通过Python和FEniCS库实现了有限元分析代码，用于模拟腐蚀缺陷生长和电化学-力学耦合分析。; 适合人群：从事海洋工程、管道工程及相关领域的科研人员和技术工程师。; 使用场景及目标：①研究海底管道腐蚀缺陷生长机制；②评估海底管道的剩余寿命；③优化海底管道的维护和管理策略；④开发更精确的腐蚀预测模型。; 其他说明：本文不仅提供了理论分析和实验数据，还给出了详细的Python代码实现，方便读者进行复现和进一步研究。模型创新性地结合了力学和电化学效应，实现了腐蚀缺陷演化的高精度模拟，为海底管道的安全运行提供了先进的数值分析工具。
嵌入式开发-Qt框架-C编程-轻量级虚拟键盘-跨平台输入法-中文英文数字符号输入-大小写切换-皮肤主题定制-手写识别功能-开源学习项目-适用于Linux-Windows-And.zip
最新发布
08-16
pycharm嵌入式开发_Qt框架_C编程_轻量级虚拟键盘_跨平台输入法_中文英文数字符号输入_大小写切换_皮肤主题定制_手写识别功能_开源学习项目_适用于Linux_Windows_And.zip
自动驾驶电动车辆研究白皮书 自动驾驶电动耗子研究白皮书 关于自动驾驶电耗子的研究白皮书 自动驾驶电动耗子相关研究白皮书 自动驾驶电耗子技术研究白皮书 自动驾驶电耗子领域研究白皮书 自动驾驶电耗子专题研
08-16
资源下载链接为： https://pan.quark.cn/s/4f07e5d63237 自动驾驶电动车辆研究白皮书 自动驾驶电动耗子研究白皮书 关于自动驾驶电耗子的研究白皮书 自动驾驶电动耗子相关研究白皮书 自动驾驶电耗子技术研究白皮书 自动驾驶电耗子领域研究白皮书 自动驾驶电耗子专题研究白皮书 自动驾驶电耗子综合研究白皮书 自动驾驶电耗子深度研究白皮书 自动驾驶电耗子全面研究白皮书（最新、最全版本！打开链接下载即可用！）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值