【云计算与大数据技术】文件存储格式行式、列式、GFS、HDFS的讲解（图文解释 超详细）

一、分布式文件系统

文件系统最后都需要以一定的格式存储数据文件，常见的文件存储布局有行式存储、列式存储以及混合式存储三种，不同的类别各有其优缺点和适用的场景，在目前的大数据分析系统中，列式存储和混合式存储方案因其特殊优点被广泛采用

1：行式存储

在传统关系型数据库中，行式存储被主流关系型数据库广泛采用，HDFS文件系统也采用行式存储，在行式存储中，每条记录的各个字段连续的存储在一起，而对于文件中的各个记录也是连续存储在数据块中。

行式存储对于大数据系统的需求已经不能很好的满足，主要体现在以下几个方面

快速访问海量数据的能力被束缚

行的值由响应列的值来定位，这种访问模型会影响快速访问的能力，因为在数据访问的过程中引入了耗时的输入与输出，在行式存储中，为了提高数据处理能力，一般通过分区技术来减少查询过程中数据输入与输出的次数，从而缩短响应时间，但是这种分区技术对海量数据规模下的性能改善效果并不明显 

扩展性差 

在海量规模下，扩展性差式传统数据存储的一个致命的弱点。一般通过向上扩展和向外扩展来解决数据库扩展的问题。向上扩展是通过升级硬件来提升速度，从而缓解压力，向外扩展则是按照一定的规则将海量数据进行划分，再将原来集中存储的数据分散到不同的数据服务器上，但由于数据被表示成关系模型，从而难以被划分到不同的分片中等原因，这种解决方案仍有有局限性

2：列式存储 </