WannaRunning的博客

目录NameNodeDataNodeSecondaryNameNodeClientHDFS文件上传HDFS文件下载NameNode存储文件的元数据，位置信息 配置副本策略 管理数据块映射信息 处理读写请求DataNodeDataNode 存储文件的真实数据，并做数据校验 一个数据块在DN中会存储数据本身，数据长度，检验和以及时间戳。同时DN启动后会向NN进行注册，后续每隔一小时向NN汇报数据块信息，同时每三秒进行一次NN心跳并带回NN指令，如果10分钟.

dockerHub镜像地址https://registry.hub.docker.com/r/mdouchement/hdfs创建容器客户端RPC端口是8020 web端访问端口50070docker run -p 22022:22 -p 8020:8020 -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -it mdouchement/hdfshadoop fs文件操作命令进入容器即可使用fs命令操作文件

之前写过JAVA使用客户端连接Hadoop的使用，是单节点的情况；生产中使用的都是集群，网上找了好久都没找到详细的有关集群的配置方式，Hadoop nameNode HA集群中客户端需要连接客户端集群各个节点。方式一：使用XML配置文件加载这种方式基于Hadoop集群服务中配置的的core-site.xml文件，当然，也可以手写配置文件。（吐槽一下我在做的时候运维只提供一堆IP让我自己猜）configuration = new Configuration();//通过加载配置文件配置con

目录配置authorization开启权限认证配置允许操作的用户HDFS有两种认证方式，SIMPLE方式较简单，只认证用户名称没有密码。配置authorization开启权限认证authorization配置在core-site.xml文件中的vi hadoop/etc/hadoop/core-site.xml<property> <name>hadoop.security.authorization</name> <valu..

目录添加Hadoop依赖HDFS操作工具类FileSystem的缓存机制缓存模式非缓存模式Hadoop中把对于HDFS文件系统的调用封装成了一个FileSystem类，通过FileSystem的实例进行文件操作。添加Hadoop依赖<!-- hadoop依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> ..