莲芸轩的书房

由于我使用的vnmare搭建的centos7虚拟机,最近跑了一个比较大的任务,结果发现HDFS强行进入了安全模式.使用命令hdfs dfsadmin -safemode get可以看到结果是ON然后我使用了离开安全模式命令hdfs dfsadmin -safemode leave然后再次查看安全模式仍然是ON,好吧查阅资料发现是磁盘满了.使用df -hl查看发现/dev/sda/centos_root已经使用了100%只能扩容磁盘了具体操作手册请参见VMware虚拟机中CentOS7的硬盘空间扩

HDFS作为分布式文件系统，储存文件的时候与我们自己常用的PC机自带的文件系统区别还是很大的。首先HDFS文件系统储存文件的时候会将文件分为块储存，2.0以及之后的版本默认是128M一块 之前是默认64M；并且每一个块默认保存3副本（副本之间无主从概念）。接下来看看HDFS写数据流程先来一张图镇楼这是写数据的流程图旁白注释已经很清楚了但是这只是理想的情况，如果在传输的时候出问题了该怎么解决呢？其实HDFS已经解决了这个容错问题了在这个流程中客户端需要向namenode申请可用的datanode来

Hadoop组件之HDFS常用命令Hadoop作为大数据基础组件，解决了海量数据的存储（HDFS）和计算(Map-Reduce)问题。虽然Map-Reduce计算已经很少在生产中使用，但是关于HDFS的一些常用命令还是需要掌握的。HDFS命令有两种方式 一种是hdfs dfs -ls / 一种是hadoop fs -ls / 根据个人喜好用就可以了。下面列出一些常用命令。（1）-help：输出这个命令参数bin/hdfs dfs -help rm（2）-ls: 显示目录信息hadoop fs -