qq_38019655的博客

hdfs读取文件和写文件流程一、HDFS体系架构图　　1.namenode 管理元数据，不存储文件块　　2.Metadata 元数据(文件所在的目录，replication)　　3.Datanode 存储数据块的　　4.Rack 机架　　5.Block 文件块　　6.Client 客户端二、HDFS读取（下载）文件的流程　　1.Open file 是要获取HDFS上指定文件的...

操作hdfs的api一、连接namenode以及读取hdfs中指定文件public void testConnectNamenode() throws Exception{ Configuration conf=new Configuration(); FileSystem fs=FileSystem.get(new URI("hdfs://192.168.234.21:9000"), c...

hdfs的特点一、hdfs的优点　　1.支持海量数据的存储：一般来说，HDFS存储的文件可以支持TB和PB级别的数据。　　2.检测和快速应对硬件故障：在集群环境中，硬件故障是常见性问题。因为有上千台服务器连在一起，故障率很高，因此故障检测和自动恢复hdfs文件系统的一个设计目标。假设某一个datanode挂掉之后，因为数据是有备份的，还可以从其他节点里找到。namenode通过心跳机制来检测...