文章目录
1. 实战概述
- 本次实战完成了Hive环境的彻底重置与重建:包括清理HDFS数仓目录、停止并重启Hadoop服务、清除旧Hive元数据库、重新初始化Metastore、启动Hive服务进程,并验证了Hive与MySQL元数据的一致性,为后续数据仓库开发提供了干净可靠的运行环境。
2. 实战步骤
2.1 查看主节点进程
- 执行命令:
jps

2.2 删除数仓目录
- 执行命令:
hdfs dfs -rm -r /user

2.3 停止Hadoop服务
- 执行命令:
stop-all.sh

2.4 杀死Hive服务两个进程
- Hive服务两个进程的ID:
15170和15421 - 执行命令:
kill -9 15170

- 执行命令:
kill -9 15421

2.5 删除Hive元数据库
-
执行命令:
mysql -uroot -p903213

-
执行语句:
drop database hive;,删除Hive元数据库

-
执行语句:
exit;,退出MySQL客户端

2.6 初始化Hive元数据存储
- 执行命令:
schematool -dbType mysql -initSchema


- 结果说明:该命令执行成功,表明 Hive 元数据存储(Metastore)已通过
schematool工具初始化至版本 3.1.0。系统使用 MySQL 作为元数据库,成功执行了hive-schema-3.1.0.mysql.sql脚本,创建了必要的表结构,为 Hive 提供了完整的元数据支持,确保后续能正常管理表、分区等对象。
2.7 启动Hadoop服务
- 执行命令:
start-all.sh

2.8 后台启动Hive服务
- 执行命令:
nohup hive --service metastore > /dev/null 2>&1 &

- 执行命令:
nohup hive --service hiveserver2> /dev/null 2>&1 &

2.9 创建Hive数仓目录
- 执行命令:
hdfs dfs -mkdir -p /user/hive/warehouse

2.10 使用Hive客户端
- 执行命令:
hive

- 执行命令:
show databases;,查看数据库,初始化Hive后只有一个default数据库

- 执行命令:
exit;,退出Hive客户端

2.11 查看Hive元数据库
-
执行命令:
mysql -uroot -p903213

-
执行语句:
use hive;,切换到Hive元数据库

-
执行语句:
show tables;

-
执行语句:
exit;,退出MySQL客户端

3. 实战总结
- 本次实战系统完成了Hive环境的重置与重建全过程。通过停止Hadoop和Hive服务、清理HDFS数仓目录、删除MySQL中的Hive元数据库,彻底清除了旧环境残留;随后使用
schematool重新初始化Hive元数据,启动Hadoop及Hive Metastore、HiveServer2服务,并创建标准数仓目录。最终通过Hive CLI验证数据库状态,并在MySQL中确认元数据表已正确生成,确保了元数据一致性。整个流程规范完整,有效解决了因元数据损坏或配置冲突导致的Hive异常问题,为后续数据开发奠定了稳定、干净的基础环境,也加深了对Hive架构及元数据管理机制的理解。
807

被折叠的 条评论
为什么被折叠?



