大数据-HDFS 配置与使用

导语
  在之前的分享中我们知道HDFS有三种模式：单机模式、伪集群模式和集群模式。

单机模式：Hadoop 仅作为库存在，可以在单计算机上执行 MapReduce 任务，仅用于开发者搭建学习和试验环境。

伪集群模式：此模式 Hadoop 将以守护进程的形式在单机运行，一般用于开发者搭建学习和试验环境。

集群模式：此模式是 Hadoop 的生产环境模式，也就是说这才是 Hadoop 真正使用的模式，用于提供生产级服务。

HDFS 配置和启动

  HDFS 和数据库相似，是以守护进程的方式启动的。使用 HDFS 需要用 HDFS 客户端通过网络 (套接字) 连接到 HDFS 服务器实现文件系统的使用。

  在Docker Hadoop环境搭建 博客中，我们已经配置好了 Hadoop 的基础环境，容器名为 hadoop_single。如果你上次已经关闭了该容器或者关闭了计算机导致容器关闭，请启动并进入该容器。

  进入该容器后，我们确认一下 Hadoop 是否存在：

hadoop version

  可以安装一个小工具用来修改密码方便

yum install -y passwd sudo

  设置 hadoop 用户密码

passwd hadoop

  修改 hadoop 安装目录所有人为 hadoop 用户

chown -R hadoop /usr/local/hadoop

  然后用文本编辑器修改 /etc/sudoers 文件，在

root    ALL=(ALL)       ALL

  行，之后添加

hadoop  ALL=(ALL)       ALL

  然后退出容器。关闭并提交容器 hadoop_single 到镜像 hadoop_proto：

docker stop hadoop_single
docker commit hadoop_single hadoop_proto

  创建新容器 hdfs_single ：

docker run -d --name=hdfs_single --privileged hadoop_proto /usr/sbin/init

启动 HDFS

  现在进入刚建立的容器：

docker exec -it hdfs_single su hadoop

  现在应该是 hadoop 用户：

whoami

  生成 SSH 密钥：

ssh-keygen -t rsa

  一直按回车键就可以了，然后将生成的密钥添加到信任列表

ssh-copy-id hadoop@172.17.0.2

  查看容器 IP 地址：

ip addr | grep 172