qq_39719415的博客

spark经验总结

行转列、列转行详解

**2020年12月2日下架了包括官方所有的CentOS6源（包括国内的镜像站）**centos6的下架使得centos6的yum无法直接再下载安装软件。目前需要更新为下面两个源：#阿里云http://mirrors.aliyun.com/centos-vault/#官方https://vault.centos.org/#阿里云和官方的任选其一即可具体操作如下：第一步修改base源：vi /etc/yum.repos.d/CentOS-Base.repo# CentOS-Base

右键群——》新建机器人就可以新增一个机器人，记下机器人的WebHook，它是机器人的唯一标识。之后使用CURL的指令方式就可以发东西到群里了。注意点：每分钟发送消息不超过20条。特点：可以发送图片、@别人、文件（要求文件大小在5B~20M之间）、字体颜色、curl ‘https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=180-bcdc-40b9-adf9-ffa4’ -H ‘Content-Type: application/json’

窗口函数是一种不需要使用group by也能进行聚合计算的强大分析函数以下是经过自己使用的一些感悟：1），窗口函数不是某个函数，它是 “一批” 的函数的总称2），窗口函数适用于增量写入的计算场景3），窗口函数适用于“组内排名”的计算场景4），窗口函数可用于非null判断的循环查找场景…常用的窗口函数简介：1）、窗口聚合计算函数sum(col) over() : 分组对col累计求和，count(col) over() : 分组对col累计，min(col) over() : 分组对c

1、确认时区为中国上海tzselect选择时区一次选择亚洲、中国上海、确认，2、编辑时区配置文件vi /etc/sysconfig/clockZONE=“Asia/Shanghai”3、使用ntpdate同步一次时间ntpdate time.windows.com再查看一下时间，时间就同步且正确了！（简易版时间同步）...

azkaban是一个使用起来很方便的调度框架azkaban如何配置多个flow？多flow之间如何依赖? 如何设置通用参数？常用job参数如何设置？本文章为你解答。（1）:azkaban如何配置多个flow多flow配置要这样配：把多个flow放到一起打成zip包就可以了，之后在azkaban的web界面上upload即可。（2）：设置通用参数通用参数这样配：其中test1下的conf.properties文件中设置的属性只在test1下有效，test2下的conf.properties