morsunlight的博客

hive中lateral view的执行过程和explode的执行过程

MYSQL的DDL语句:（1）创建用户主题表DROP TABLE IF EXISTS `ads_user_topic`;CREATE TABLE `ads_user_topic` ( `dt` date NOT NULL, `day_users` bigint(255) NULL DEFAULT NULL, `day_new_users` bigint(255) NULL DEFAULT NULL, `day_new_payment_users` bigint(255) NUL

背景:公司属于教育公司，自研一款线上教育app。由于疫情，导致公司业务扩大，数据量剧增。于是公司打算自研一套数据中台。本人有幸负责公司数据采集这一块项目。解决的问题:根据埋点数据会产生一条json日志写到服务器指定的目录下。因此我需要采集到数据传入kafka之中，所以Flume组件成了必选项。本次主要介绍flume基于时间戳的拦截器package com.tuoqing.flume.interceptor;import com.alibaba.fastjson.JSON;import com

整体架构:mysql -> canal -> kafka - > flink ->终端额外开销:Redis

背景:某小型互联网公司每日的疫情填报Flink消费Kafka中的Json数据遇到的问题:Flink的jar包上传Flink服务器报错web页面报错:2021-01-1910:26:42,437INFOorg.apache.kafka.common.utils.AppInfoParser-Kafkaversion:0.11.0.22021-01-1910:26:42,438INFOorg.apache.kafka.common.ut...

HIVE中分支结构条件函数:if,nvl,case when then else end基本定义: if(判断条件,true,false), nvl(true,false), case 列名 when 条件1then 结果1 else 结果2 end嵌套使用: if: one.判断条件中可结合and、or。 two.true中可在做if嵌套,false中也可以做if嵌套(存疑) nvl: one:用于将null值转换，...

Excle导入集群1）将Excle文件转换成txt文件，注意转换前后的编码方式。通常使用utf-82）将转换后的txt文件导入集群。并根据txt文件中的字段创建Hive表3）加载数据到hive中。loaddata inpath '/user/test.txt' into table ads_test;时间字段相减取天数由于公司数据中时间的格式是yyyy/M/dd，其中月份有取值在（1~12）。主要业务是求出当前时间和入职时间的差值1)将数据库中的时间按着‘/’切分。split('/.