ods层
经验:
1.保持数据原貌不做任何修改,起到备份数据的作用
2.创建分区表,防止后续的全表扫描,提高效率
3.可以采用lzo压缩, 减少磁盘空间的使用
相关技术:
CREATE EXTERNAL TABLE ods_event_log(`line` string)
PARTITIONED BY (`dt` string)
STORED AS
INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKey