昊天249-优快云博客

原创用户维度表（拉链表）

步骤0：初始化拉链表（首次独立执行）（1）建立拉链表 hive (gmall)> drop table if exists dwd_dim_user_info_his; create external table dwd_dim_user_info_his( id string COMMENT ‘用户id’, name string COMMENT ‘姓名’, birthday string COMMENT ‘生日’, gender string COMMENT ‘性别’, email string

2021-05-24 00:35:28 525

原创 ClickHouse版行转列，列转行PK Hive

– 行转列，列转行一： hive版本孙悟空白羊座 A 大海射手座 A 宋宋白羊座 B 猪八戒白羊座 A 凤姐射手座 A 苍老师白羊座 B 结果如下：射手座,A 大海|凤姐白羊座,A 孙悟空|猪八戒白羊座,B 宋宋|苍老师 SELECT t1.c_b , CONCAT_WS("|",collect_set(t1.name)) FROM ( SELECT NAME ,CONCAT_WS(’,’,constellatio

2021-05-23 19:07:50 3808

原创 ClickHouse版连续3天登陆SQL

a,2020-02-05,200 a,2020-02-06,300 a,2020-03-04,400 a,2020-03-05,600 b,2020-02-06,300 b,2020-02-08,200 b,2020-02-09,400 b,2020-02-10,600 c,2020-01-31,200 c,2020-02-01,300 a,2020-02-07,200 a,2020-02-08,400 a,2020-02-10,600 b,2020-02-05,200 a,2020-03-01,200 a

2021-05-23 17:53:29 309

原创 kafka常用命令

1）查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --list 2）创建 topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first 3）删除 topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --del

2021-04-06 18:37:31 185

原创正则表达式语法

正则表达式语法字符说明 \ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如，“n"匹配字符"n”。"\n"匹配换行符。序列"\\“匹配”"，"\(“匹配”("。 ^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。 $ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与"\n"或"\r"之前的位置匹配。零次或多次匹配前面的字符或子表达式。例如，zo* 匹配"z

2021-04-02 23:47:03 126

原创 xcall.sh集群命令执行脚本

#!/bin/bash for i in haotian@hadoop102 haotian@hadoop103 haotian@hadoop104 do echo “=========== $i ===========” ssh $i ‘/opt/module/jdk1.8.0_144/bin/jps’ done

2021-04-02 23:39:22 175

原创 xsync集群分发脚本

#!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=basename $p1 echo fname=$fname #3 获取上级目录到绝对路径 pdir=cd -P $(dirname $p1); pwd echo pdir=$pdir #4 获取当前用户名称 user=whoami #5 循环 for((host=103; host&

2021-04-02 23:34:42 81