码飞_CC的博客

HIVE的一些查询优化总结

SQL join，left join ，right join ， inner join ， outer join用法解析及HIVE join 优化

HIVE 优化

HIVE 复制出现 Display all 475 possibilities? (y or n)

有一个需求是判断一个表中的一个字符串字段是否是另外一个表中一个字符串字段的子串； mysql实现方式： SELECT * FROM table1 RIGHT JOIN table2 ON table2.x LIKE CONCAT('%' , table2.y , '%') 用以上代码放到HIVE中执行，发现报错，原因是HIVE不支持非等值连接。 可以用以下方式来处理HIVE不支持非等...

Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化，针对MR全局的优化以及针对整个查询的优化。

1. 获取当天的时间：SELECT from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss'); 2. 计算时间差：SELECT datediff('2016-12-07','2016-12-08'); 前面的时间减去后面的时间。 3. 计算时间差时，用当天的时间，减去表中某一个字段time的时间： SELECT datediff(conca...