- 博客(8)
- 收藏
- 关注
RSS订阅原创 拉链表实现
每日全量跑批select id,status,start_time,nvl(date_sub(next_time,1),'9999-12-31') as endtime from (select id,status,updatetime as start_time,lead(updatetime,1,null) over (partition by id order by updatetime) as next_time from order) tmp
2021-01-27 12:31:01
218
原创 补数据逻辑
1。先分组entid，对日期进行排序 self_rn2。然后根据entid，（空值，非空值）分组，对时间排序（主要是求出空值分组内的日期排序）字段 为 null_rn3。根据entid，（self_rn-null_rn排序(空值的情况下),非空赋值负数） 排序得出步长4。自关联，如果非空，取本身。空值，减步长之后自关联，取关联的值。with t as (select entid,`month`,val,self_rn,row_number() over(partition by ent
2020-12-07 16:08:47
263
原创 etl实现上下游依赖的一种脚本
now=`date +%Y%m%d`# now=20201205while truedo partitions=$(hive -e "show partitions dm_tag.dwl_pubsentiment_st_day_zp" | grep -v WARN) if [[ $partitions == *$now* ]] then echo "包含" last_ddl_all=$(echo `hive -e "desc formatted
2020-12-04 12:13:24
454
原创 Hadoop单机版安装
Hadoop单机版安装0.将某个root权限文件夹(/opt)赋权限给某个非root用户(whh)sudo chown -R whh /opt必须配置ssh服务,否则不能启动:https://blog.youkuaiyun.com/longduohongchen/article/details/103245149首先安装JDK1.将解压jdk-8u181-linux-x64.tar.gz到/opttar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt2.修改文件夹名称m
2020-08-22 13:11:44
369
原创 Sublime Text3安装sql格式化工具
Sublime Text3安装sql格式化工具:1.安装Sublime Text3最新版本(默认preferences没有package control这个菜单)2.在tools里点击install package(或者command palette… 输入ip点击install package)3.在preferences点击package control输入clz(安装汉语)4.在preferences点击package control输入SqlBeautifier(安装格式化插件)5.设置快
2020-07-30 18:06:22
3165
原创 配置免密登录
假定两台主机,一台master,一台slaver.需求使用master主机免密登录slaver主机思路:将master的公钥配置在slaver主机上1.在master 主机的doc或者命令行生成公私钥对:ssh-keygen -t rsa.在master主机上会生成公私钥文件夹.2.将生成的公钥文件夹id_rsa.pub,将其改名为authorized_keys放到slaver主机上的/ro...
2019-11-25 20:39:16
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人