- 博客(8)
- 收藏
- 关注
RSS订阅
1原创 sparkSQL之拆分Map为多列
发现问题今天给同事处理标签的时候，需要统计核实一下tags里面所有tags分类量级。这是hive库里面数据的格式。数据标签里面的tags里面是标签名，权重值。解决思路step1.给Map炸开成两列 这样就可以把所有的标签名拿出来了step2.拿出所有的key值和did_md5的值step3.针对key值进行聚合和统计写sql代码得到结果总结（复习）lateral view outer explode（tags）kv as k,vtags里面有几个就炸几行...
2022-03-02 18:34:32
2110
原创 java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize报错
今天提交任务，前面读取任务都十分的顺利只是跑到这个部分的时候，就开始疯狂报错反复提交了好几遍总觉得哪里有点问题java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
2022-03-02 16:32:52
3304
原创 HQL之行转列与列转行
HQL之行转列与列转行行转列与列转行的概述行转列什么是行转列行转列函数CONCATCONCAT_WSCOLLECT_SET（a）COLLECT_LIST（a）例子数据需求实现列转行什么是列转行列转行函数lateral viewexplodesplit例子需求创建数据建表并导入数据按照需求查询数据查询结果行转列与列转行的概述行转列函数和列转行函数本质上是聚合和拆分的两种类型的函数，我们将这些整理起来放在一起，一类成为行转列，一类称为列转行。行转列什么是行转列把一行中不同列的数据放在同一列当中 (co
2021-05-12 21:16:21
2240
原创 牛客网SQL思路解析1-21
文章目录牛客网刷题思路解析第1题 查找最晚入职员工的所有信息第2题 查找入职员工时间排名倒数第三的员工所有信息第3题 查找各个部门当前领导当前薪水详情以及其对应部门编号dept_no第4题 查找所有已经分配部门的员工的last_name和first_name第5题 查找所有员工的last_name和first_name以及对应部门编号dept_no第6题 查找薪水涨幅超过15次的员工号emp_no以及其对应的涨幅次数t第7题 找出所有员工当前具体的薪水salary情况第8题 获取所有非manager的员工e
2021-05-08 19:38:13
313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人