0、事前准备。
0.1 完成HADOOP的集群安装,完成HDFS的配置和初始化。
(具体请参考https://blog.youkuaiyun.com/yumi6666/article/details/81735638)
0.2 配置好Linux或Win环境下的Java开发环境。
本文环境为WIN10 + Java1.8 + Eclipse。
(具体参考https://blog.youkuaiyun.com/zichen_ziqi/article/details/73995755,此文兼有Java环境和Python环境配置。)
0.3 有一定Java基础。
(推荐一套大数据课程,非常详细,内含Java强化课程。https://www.bilibili.com/video/av21661095/)
1、HDFS的基本工作原理简介。
HDFS大体工作流程图如下,可配合https://www.bilibili.com/video/av21661095/?p=76使用。
你现在需要知道的是:
1、HDFS是一套集群系统。集群内机器数量可多可少,由Hadoop框架约束。
2、HDFS系统至少有1个Namenode机(可认为是主机),以及若干Datanode机(可认为是算机)。
3、HDFS系统的最基本功能是分布式储存文件,其命令与Shell命令类似。如 ls,cat, mkdir,rm,mv等等。
4、