一个菜鸟的Java学习历程博客

优化 今早的过滤数据，尽可能的减少数据在每个阶段的输入和输出，使用分区表时，要使用分区条件进行过滤 可以使用中间表来完成一些复杂的操作 join操作时，将小表放在join的左边 union all的个数大于2，可以考虑使用inset into来优化 根据数据的本身特点，在使用join 和group by的时候考虑数据倾斜的问题 将小文件打包成一个大文件 设置map和reduce的个数来减少task的

Hive的服务端组件1. Driver组件：该组件包括：Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker或者是Hadoop2中的SourceManager来进行实际的执行相应的任务。2. MetaStore组件：存储着hive的元数据信息，将自己的元数据存储到了关系型数据库当中，支持的数

select count(CASE WHEN client_sex = ‘M’ THEN client_sex ELSE NULL END), count(CASE WHEN client_sex = ‘F’ THEN client_sex ELSE NULL END), count(CASE WHEN client_sex =’\N’ THEN 1 ELSE NULL END)

新增加的用户表insert into ta_index_new_user select channel,toal.client_id,access_time,from_unixtime(unix_timestamp(),’yyyy-MM-dd’) from tm_original_access_log toal where toal.client_id not in (select tinu.c