docker启动_Docker启动Hadoop、Hive并调试

最新推荐文章于 2025-03-20 09:56:40 发布

weixin_39629467

最新推荐文章于 2025-03-20 09:56:40 发布

阅读量274

点赞数

文章标签： docker启动 hadoop hive集群 hadoop启动 hadoop端口 idea debug调试 idea 远程调试

该博客介绍了如何在Docker环境下启动和停止Hadoop与Hive集群，包括使用`start-all.sh`和`stop-all.sh`脚本。重点讲述了如何在Hive中设置调试模式，通过指定8000端口为调试端口，并在IDEA中进行远程调试。此外，还提到了如何根据需要编译不同版本的Hadoop和Hive。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GitHub地址: https://github.com/tkanng/hadoop-docker

一、使用说明

启动Hadoop集群：

./start-all.sh

2. 启动Hive:

./start-hive.sh

停止Hadoop集群与Hive:

./stop-all.sh

二、调试Hive

初始化Hive并打开调试模式

docker exec -it hive bash

cd $HIVE_HOME && bin/schematool -dbType derby -initSchema

# 指定8000端口作为调试端口(**容器内端口**)，默认将8000端口映射到宿主机的10000端口。
cd $HIVE_HOME && bin/hive  --debug:port=8000  -hiveconf hive.root.logger=DEBUG,console

如下图:

IDEA远程调试Hive 默认情况下，Hive容器的8000端口映射到了宿主机的10000端口（可以在start-hive.sh中修改）。IDEA进行远程调试时，指定号宿主机IP:10000端口即可。 IDEA调试配置图：

IDEA调试示意图：

三、编译其他版本

编译其他版本的Hadoop和Hive，只需修改Dockerfile与Dockerfile.hive，或者在编译时指定--build-arg参数即可，如：

docker build -f Dockerfile --build-arg HADOOP_VERSION=2.9.5 -t tkanng/hadoop:2.9.5 .