Win10环境下使用Docker从零开始搭建hadoop集群

最新推荐文章于 2025-03-23 01:40:09 发布

OurQueen

最新推荐文章于 2025-03-23 01:40:09 发布

阅读量1.7k

点赞数 5

分类专栏： docker 大数据文章标签： hadoop docker hdfs windows 10 ubuntu

本文链接：https://blog.youkuaiyun.com/zszangy/article/details/118937684

版权

Win10环境下使用Docker从零开始搭建hadoop集群

原文：Win10环境下使用Docker从零开始搭建hadoop集群

1. 拉取ubuntu镜像

docker pull ubuntu

2. 启动ubuntu容器

docker run -ti ubuntu /bin/bash

3. 退出容器保持后台运行(熟悉命令可不进行退出操作，直接进行第6步)

先Ctrl + P 再 Ctrl + Q

4. 查看正在运行的容器

> docker ps

CONTAINER ID   IMAGE     COMMAND       CREATED          STATUS            NAMES
9e71371cab71   ubuntu    "/bin/bash"   55 minutes ago   Up 55 minutes     lucid_lumiere

5. 重新进入ubuntu容器

docker attach 9e7

6. 安装必要工具

ubuntu 镜像中几乎没有可用工具，需要安装和配置一下环境：

openjdk-8-jdk
scala
vim
net-tools
openssh-server
openssh-client

apt-get update
apt-get install openjdk-8-jdk
apt-get install scala
apt-get install vim
apt-get install openssh-server
apt-get install openssh-client

如果想使用xshell工具远程连接，可参考之前的文章：点击跳转

7. 配置SSH免密登录

# 如果没法进入该目录，执行一次ssh localhost
cd ~/.ssh/
# 三次回车后，该目录下将会产生id_rsa，id_rsa.pub文件
ssh-keygen -t rsa
# 加入授权
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 如果不提示输入密码则SSH无密登陆配置成功
ssh localhost

8. 安装hadoop

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz 
# 解压
tar -zxvf hadoop-3.2.2.tar.gz -C /usr/local
cd /usr/local
# 重命名
mv hadoop-3.2.2 hadoop

如果下载链接失效，可以查看最新地址：hadoop清华下载地址

9. 配置JAVA和Hadoop环境

9.1 编辑 /etc/profile

# java
# 需要提前查看下载的JDK名称
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH
# hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_