jinfeiteng2008的专栏

转自：http://blog.youkuaiyun.com/mindfloating/article/details/49103611 我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。  然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下：  HDFS 参照了它所以大部分架构设计概念是类似的，比如 HD

Hive文件存储格式 1.textfile textfile为默认格式 存储方式：行存储 磁盘开销大 数据解析开销大 压缩的text文件 hive无法进行合并和拆分 2.sequencefile 二进制文件,以的形式序列化到文件中 存储方式：行存储 可分割 压缩 一般选择block压缩 优势是文件和Hadoop api中的mapfile是相互兼容的。 3.rcf