曹健的博客

假如成绩表t有学生student、科目project、成绩grade三个字段1.求所有分数不低于80分的学生方法1：select student from twhere student not in (select student from t where score<80)group by student方法2：select student,min(score) as min_score from t group by student having min_score&g

如题，求首次曝光用户数和用户留存数，表t_stay有两个字段，分别是用户id和曝光时间，有曝光就会生成一条纪录。表中存的是历史所有的数据。需求是得到如下表格的结果：首次曝光人数，是在dt这一天，是用户在历史中的首次曝光。次1日留存人数，是dt这天首次曝光的这些人，在次1日有多少留存人数。注意t_stay是历史所有数据、我们想要看的数据的时间范围是2020-01-01到2020-01-30，也就是说我们的结果要有30条记录（30行）。dt 首次曝光人数 次1日留存人数 次2.

数据如下：c1,c2,c3,c4userA,locationA,2018-01-01 08:00:00,60userA,locationA,2018-01-01 09:00:00,60userA,locationB,2018-01-01 10:00:00,60userA,locationA,2018-01-01 11:00:00,60目标：userA,locationA,2018-01-01 08:00:00,120userA,locationB,2018-01-01 10:00:0

首先，用我本地的单机版hive建一张测试表，虽然不能模拟大数据量，但是足够说明问题了，准备数据如下：-- count distinct测试create table count_distinct_test(id int,name string);insert into count_distinct_test values(1,'a'),(2,'a'),(3,'a'),(4,'b'),(5,'b'),(6,'c'),(7,'d'),(8,'e'),(9,'f'),(10,'g');expla

数据准备：create table login_logout(userid int,logintime string,logouttime string);insert into login_logout values(1,'2020-10-01 11:11:11','2020-10-01 13:11:12'),(2,'2020-10-01 12:11:11','2020-10-01 15:11:11'),(3,'2020-10-01 13:11:11','2020-10-01 16:11:11')

问题1：SQL有两张数据表A,B，通过SQL语句输出表C输入表A:name score_1张三 90李四 85王五 60孙六 55输入表B:name score_2张三 90王五 65孙六 58朱七 70输出表C：name score_1 score_2 maxExam totalScore张三 90 90 90 180李四 85 null 85 85王五 60 65 65 125孙六 55 58 58 113朱七 ..

真的遇到了多次，很高频的sql题。原始数据：uid，active_dt1 20200101 1 20200102 1 20200103 1 20200105 1 20200107 2 ...想要的结果是这样的：uid，active_dt,连续活跃的第几天1 20200101 11 20200102 21 20200103 31 20200105 11...

一个mapreduce的经典题目——求共同好友，目前网上还没有人用hive实现，我来用hive算一下。一、数据准备create table friends(people string,friends string);insert into table friends(people,friends) values('A','B,C,D,F,E,O,J');insert into table friends(people,friends) values('B','A,C,E,K'),('C','

先说一句，不建议在windows下搭建hive，感觉没必要，坑比较多，让我有了租云服务器的冲动！一、准备工作之前我们已经安装好了hadoop，根据网上的教程，还需要一个hadoop.dll文件需要扔到hadoop的bin目录，git上可以找到。hadoop可以正常启动。二、安装hive因为hadoop是2.7.7版本，我选...

shell脚本中的sqoop语句如下：sqoop import --connect jdbc:mysql://${database_IP}:${database_PORT}/${database_NAME}?tinyInt1isBit=false --username ${database_USER} --password ${database_PASSWORD} --query ...

for((i=1;i<=24;i=i+1))doday=`date -d "${day1} -$i day" +%Y%m%d`echo "execute date================================="${day}hive -e "set hive.merge.mapfiles = true;set hive.merge.mapredfi...

drop table dm_project.user_action_detail_lylccreate table dm_project.user_action_detail_lylc asselecta.teacher_id,a.teacher_name,a.teacher_subject,a.teacher_stage,a.school_name,b.action,b.re...

1.日期函数to_datefrom_unixtimeunix_timestampdatediffyear2.数值计算round——取整/指定精度取整floor——向下取整ceil——向上取整abs——绝对值3.字符串处理lengthsubstringconcattrimsplit——返回数组[]4.聚合函数countsum5.关系运算like...

使用插件，将hive中的数据存入ES，在向映射表中更新数据的时候报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-3: Map: 1 Reduce: 1 Cumulative CPU: 4...

记录一个hive中遇到的很有意思的问题，首先我建了两张临时表，最终要把两张表关联起来的时候，发现：两张表中的关联字段都是唯一的，关联之后关联字段竟然不唯一了！关联方法用的left join。检验sql如下：SELECT project_id, COUNT(1) AS numFROM tmp.remote_monitor_5GROUP BY project_idHAVING num &gt...