sql
关注
分享
扫一扫
不名一文
飞翔的菜鸟，keep moving
展开
-
sql优化之面向集合编程
最近重新翻阅oracle资料，有提到在编写sql时需要面向集合思考，这是每一个SQL高手必备技巧。面向集合思考是相对面向过程而言，意在寻找整个结果集的特征，而不是只专注实现逻辑过程，从而写出高效、简洁的代码。先上两个课本上例子，供大家参考(伪代码)任职工龄筛选有一张员工表，记录了员工在各个职位的任职时间，求出在各个岗位任职时间相同的职工staff 表结构 staff_id,job_id,start...原创 2018-04-28 23:42:54 · 1423 阅读 · 0 评论 -
hive任务优化
hive是基于大数据开发的一组用于数据仓库的api，其主要功能是将HQL(HIVE SQL)转换成mapreduce执行。所以对hive的优化几乎等于对mapreduce的优化，主要在io和数据倾斜方面进行优化。本文主要在一下几个方面进行介绍合并小文件压缩文件join倾斜group by倾斜合并小文件map针对每一个文件产生一个或多个map任务，如果输入小文件过多，则会产生许多map任务处理每个小...原创 2018-06-25 14:24:10 · 1124 阅读 · 0 评论