jinfeiteng2008的专栏

转自：http://blog.youkuaiyun.com/mindfloating/article/details/49103611我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。 然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下： HDFS 参照了它所以大部分架构设计概念是类似的，比如 HD

Hive文件存储格式1.textfiletextfile为默认格式存储方式：行存储磁盘开销大 数据解析开销大压缩的text文件 hive无法进行合并和拆分2.sequencefile二进制文件,以的形式序列化到文件中存储方式：行存储可分割 压缩一般选择block压缩优势是文件和Hadoop api中的mapfile是相互兼容的。3.rcf