SBsuperboy的博客

场景：hive下target_table表id字段需要唯一 实现方法代码如下：select t2.rn+row_number() over() as id, t1.a from ( select 1 as a union all select 2 as a union all select 3 as a union all

思路：利用Mongodb的export工具导出数据成json格式；              load该json数据到临时hive表的一个字段；              从该临时hive表解析json落地成最终的表； 代码： 1. 利用Mongodb的export工具导出数据成json格式 $mongo_path/bin/mongoexport -h $host:27017 -u

场景：日志表中记录了关于某个实体的状态变化所有信息，想单单提取出，按照时间轴顺序，发生了状态变化的数据行； 思路：Lag函数或者Lead函数可以将上一行或者下一行的字段内容获取到本行，这样可以比较字段是否发生变化，进而判断是否状态变化，是否需要提取出该数据行； 实现SQL： 1. 数据行内容 select house_id, status, create_t