使用docker搭建hadoop集群

最新推荐文章于 2025-05-17 23:27:38 发布

原创

最新推荐文章于 2025-05-17 23:27:38 发布 · 827 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了如何使用Docker搭建Hadoop集群，包括获取Ubuntu镜像，更换apt-get源，安装jdk，下载并配置Hadoop，设置环境变量，配置核心、HDFS和MapReduce站点，生成SSH密钥，以及最终的分布式集群搭建步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、获取ubuntu镜像，进入容器

docker search ubuntu

选择一个版本拉取到本地：

docker pull ubuntu：15.10

运行容器

docker run -ti ubuntu:15.10

二、ubuntu相关准备

由于docker的ubuntu镜像中的apt-get源默认为国外源，很多软件无法下载，现在要将源改为国内源。

在网上根据自己的ubuntu版本找到适合自己的国内源

备份默认源：

mv /etc/apt/sources.list /etc/apt/sources.list.bak

将sources.list修改为（docker的ubuntu镜像无vim，需要用cat或其他来修改）:

touch /etc/apt/sources.list
cat >/etc/apt/sources.list

deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
##测试版源
deb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse
# 源码
deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-upda1tes main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse
##测试版源
deb-src http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse
# Canonical 合作伙伴和附加
deb http://archive.canonical.com/ubuntu/ xenial partner
deb http://extras.ubuntu.com/ubuntu/ xenial main

修改完后更新apt-get：

apt-get update

现在可以用apt-get安装vim，net-tools（ifconfig），iputils-ping（ping）

做好准备后可以将现在的容器保存一个镜像

$exit
docker ps -a #找到刚才的容器id
docker commit -m "description" [CONTAINER ID] [IMAGE]

三、安装jdk

回到之前的容器：

docker start -ti containerid

或者用保存的镜像重现创建一个容器

apt-get install openjdk-8-jdk

安装java就不展开了。

四、安

最低0.47元/天解锁文章

200万优质内容无限畅学