读时模式VS写时模式

读时模式VS写时模式

在传统数据库里，表的模式是在数据加载时强制确定的。如果在加载时发现数据不符合模式，则被拒绝加载数据。因为数据是在写入数据库是对照模式进行检查，因此这一设计有时被称为“写时模式”（schema on write）。

在另外一方面，Hive对数据的验证并在不加载数据时进行，而在查询时进行。这称为“读时模式”（schema on read）。

用户需要在这两种方法之间权衡。读时模式可以使得数据加载非常迅速。这是因为它不需要读取数据，进行“解析”，再进行序列化以数据库内部格式存入磁盘。数据加载仅仅是文件的复制和移动。这一方法也更为灵活：试想，针对不同的分析任务，同一个数据可能会有两个模式。Hive使用‘’外部表’时，这种情况是可能发生的。

写时模式有利于提升查询性能。因为数据库可以对列进行索引，并对数据进行压缩。但是作为权衡，此时加载数据会花更多时间。此外没在很多加载时模式未知的情况下，因为查询尚未确定，因此不能决定使用何种索引。这些情况真是Hive“长袖善舞”的地方！

转载自：https://blog.youkuaiyun.com/fengtaosky/article/details/81136127