Nacey

在hive中运行的sql有很多是比较小的sql,数据量小,计算量小.这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成得其他过程的执行可能要1分钟.这样的小任务更适合采用lcoal mr的方式来执行.就是在本地来执行,通过把输入数据拉回客户端来执行.拿select 1 from dual来看下,两种执行方式的效率差

转至:http://tech.meituan.com/hive-sql-to-mapreduce.html

最近开发中遇到几种应用，刚好使用MAPJOIN来解决实际的问题。应用共同点如下：1: 有一个极小的表2: 需要做不等值join操作（a.x 这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~根据mapjoin的计算原理，MAP

表名说明BUCKETING_COLSHive表CLUSTERED BY字段信息(字段名，字段序号)COLUMNSHive表字段信息(字段注释，字段名，字段类型，字段序号)DBS NUCLEUS_TABLES元数据表和hive