Hive sql : 查询连续登录天数

Hive-最大连续登录天数、最大连续登录天数的最大登录总次数 目录 基本思路 案例展示 数据准备 需求实现 步骤1: 步骤2: 步骤3: 将步骤1、步骤2、步骤3合并为一整条SQL 基本思路 步骤1:首先拿到原始数据,并对uid和dt分组,顺带求出每个uid在每天登录的总次数并保留,并使每个uid下的dt保持顺序排序并留下排序序号。 步骤2:在步骤1的基础上用dt减去排序序号的天数得到一个时间(sub_dt),因为我们已经按照顺序排序了所以只要得到的时间相同,则表示这两个时间是连续的。接下来只需要对uid和sub_dt进行分组,求coun. 阅读详情

1.问题描述

目前有两列数据,分别是用户ID和用户登录的时间,现需要统计用户连续登录的最大天数,中间如有断开,则不算连续,如下图示例。
在这里插入图片描述

2.在Hive中建表

在Hive中进行操作,首先启动Hadoop集群环境,进入到Hadoop安装目录,
sbin/start-dfs.sh ,jps查看Hadoop集群有无正常启动
在这里插入图片描述
正常启动后,输入hive启动hive。使用之前建立的test数据库,没有可以自行创建一个数据库,在test数据库下新建一个表user_login,这里的日期使用date数据类型

create table user_login(
id int,
login_time date)
row format delimited 
fields terminated by ','     --分隔符是逗号
lines terminated by '\n';    --行与行之间使用换行符

建立好表结构后,向该表中到入数据,在root权限下新建一个user_login.txt,使用命令vi user_login.txt,将数据粘贴到user_login.txt中,如下图:
在这里插入图片描述
注意数据前后不能有空格,不然导入的数据会变成NULL。使用命令:
load data local inpath '/usr/local/hive/tmp/user_login.txt' overwrite into table user_login;
导入数据到user_login表中,查询一下有无正确导入select * from user_login;,我第一次导的时候因为数据后面有空格,导致导入错误了,后经过修正,没有问题了,如下图:
在这里插入图片描述

3.查询最大连续登录天数

下面主要参考了另一位博主的思想。
第一步:使用ROW_NUMBER() 窗口函数 按id分组,按login_time降序排序,得到如下结果

select login_time,id,row_number() over(partition by id) as rank
from user_login
group by login_time,id;

在这里插入图片描述
第二步:判断是否连续:用login_time-rank 如果连续则做差后值一样,然后再用id,login_time分组算出每个id下连续的天数,得到如下结果:

SELECT 
id,
date_sub(login_time,sort) as login_group,
min(login_time) as start_login_time,
max(login_time) as end_login_time,
count(1) as continuous_days
FROM (
     SELECT 
     id,
     login_time,
     row_number() OVER(PARTITION BY id order by login_time) as sort
     FROM user_login
 ) a
GROUP BY id,date_sub(login_time,sort);

在这里插入图片描述
第三步:再以id分组,取最大的连续登录天数,得到如下结果:

SELECT 
 id,
 max(continuous_days) as maxday
 FROM 
 (
 SELECT 
 id,
 date_sub(login_time,sort) as login_group,
 min(login_time) as start_login_time,
 max(login_time) as end_login_time,
 count(1) as continuous_days
 FROM (
     -- 第一段首先根据用户分组,登陆时间排序,结果按照登陆时间升序排列
     SELECT 
     id,
     login_time,
     row_number() OVER(PARTITION BY id order by login_time) as sort
     FROM user_login
 ) a
 GROUP BY id,date_sub(login_time,sort)
 )b
 GROUP BY id;

在这里插入图片描述
可以看到已经得到了想要的结果了,在此仅记录一下在Hive中的学习过程,原博客地址见参考👍。

参考:
https://blog.youkuaiyun.com/ganghaodream/article/details/100083543

【HiveSql面试题】SQL求连续登陆天数(允许间隔) 求每个用户最大的连续登陆天数,断一天还算连续登录 阅读详情

相关推荐

Hive 统计连续天数

第一步:创建表 -- 创建表 create table if not exists continue_days( uid int comment '员工id', tdate string comment '打卡日期', is_flag int comment '是否打卡') comment '打卡表' row format delimited fields terminated by ','...

zhsworld的博客 1964

hive中连续N天登录问题、topN问题、拉链表实现

hive中连续N天登录、topN问题、拉链表

weixin_44870066的博客 3731

Hive Sql 求每个用户连续登陆的最大天数

@[TOC]Hive Sql 求每个用户连续登陆的最大天数 uid,dt 1,2019-08-01 1,2019-08-02 1,2019-08-03 1,2019-08-04 1,2019-08-06 1,2019-08-07 2,2019-08-01 2,2019-08-02 3,2019-08-01 3,2019-08-03 4,2019-07-28 4,2019-07-29 4,2019-08-01 4,2019-08-02 4,2019-08-03 4,2019-08-04 4,2019-08-0

jxt120433的博客 1634

hive上连续登录天数的查询

1、数据测试表及测试数据 测试表表结构: hive> desc data_room; OK roomid string pt_month string pt_day

BabyFish13 4939

面试题 Hive-SQL查询连续活跃登录用户思路详解_sql查询连续登录两天的用户

连续活跃登陆的用户指至少连续2天都活跃登录的用户解决类似场景的问题。

2401_84615919的博客 572

Hive_语法_连续N天登陆

文章目录Sql方式实现连续N天登陆1.使用lag&lead+datediff窗口函数2.使用date_add函数代码实现思路 Sql方式实现连续N天登陆 构造测试数据 create table dwd.login_log as select 1 as user_id, "2020-01-01" as login_date union all select 1 as user_id, "2020-01-02" as login_date union all select 1 as user_id,

Eden_lang的博客 703

hive sql 实现连续登录查询

一.问题描述 获取登录日志,怎样查询一个人是否连续几天登录? 二..数据 张三,2021-11-28 10:30:00 李四,2021-11-28 10:30:00 王五,2021-11-28 10:30:00 张三,2021-11-28 10:40:00 赵六,2021-11-28 10:30:00 田七,2021-11-28 10:30:00 张三,2021-11-29 10:30:00 张三,2021-11-29 10:40:00 张三,2021-11-30 10:30:00 张三,2021-1

qq_63720568的博客 2100

hive sql 求所有用户和活跃用户的总数及平均年龄

hive sql 求所有用户和活跃用户的总数及平均年龄。(活跃用户指连续两天都有访问记录的用户)有日志如下,请写出代码求得所有用户和活跃用户的总数及平均年龄。(活跃用户指连续两天都有访问记录的用户)建表导入数据注意:这里都默认每个人的年龄是不变的,不考虑一个人的年龄增长的情况;用到的知识点有hive的 over()开窗函数、row_number()函数、lead()函数思路一1. 求所有用户的总数和平均年龄1)先求出每个用户的年龄2) 再求所有用户的总数和平均年龄2.求活跃用户总数和平均年龄(活跃用户指连续

jxt120433的博客 1650

sql 通过lead lag获取数据连续最大条数-获取用户连续登录最长天数

一、业务需求 获取每个用户连续登录的最长天数 二、初始化测试数据 drop table if EXISTS login_log; create table login_log ( times timestamp, user_id string); truncate table login_log; insert into login_log VALUES (from_unixtime(unix_timestamp('2022-03-16 12:00:00','yyyy-MM-dd HH:mm:ss')),

MDJ_D2T的博客 1781

Hive QL场景题第五部分详解

21、使用sql实现如下: 样例数据: t1表 gender,cookie,ip,timestampe,ua F,1707041428491566106,111.200.195.186,1208524973899,Dalvik%2F2.1.0%20%28Linux%3B%20U%3B%20Android ...具体数据如下图 将图片中的awk修改为使用sql编写,然后将上诉题作出回答? 统计pv/uv的使用sql,其它问题语言描述即可。 22、使用hive求出两个数据集的差集?

Dream_aju的博客 313

【小宁学习日记6 PCB】电路原理图

本文系统讲解了电子硬件设计中原理图的阅读与绘制技巧。首先剖析原理图的四大核心要素(元件符号、连接线、结点、注释),强调注释对可读性的重要性。然后提出三步读懂法:查看图纸信息、分模块分析、结合芯片手册验证,并列举5个典型芯片案例(CH224K、CH343P等)进行实战解析。最后给出6条绘制规范:模块化布局、详细标注、规范命名、信号流布局、符号封装匹配、版本管理。文章指出原理图是电子设计的"地基",掌握规范阅读与绘制方法能大幅提升设计效率,避免常见错误。新手应从开源项目分析和简单电路绘制入手

qq_74376834的博客 2360

hive案例:找出连续登录用户

1.建表 create table sigin( userid int, sigindate string )row format delimited fields terminated by " "; 2.数据准备 1 2017-01-01 1 2017-01-02 2 2017-01-11 1 2017-01-12 2 2017-01-12 1 2017-01-03 1 2017-01-04 2 2017-01-01 2 2017-01-02 2 2017-01-03 1 2017-01-10

weixin_44747329的博客 401

5分钟搞定!用Keil MDK将STM32F103C8T6工程无缝迁移到ZET6开发板

本文详细介绍了如何在Keil MDK环境下快速将STM32F103C8T6工程迁移到ZET6开发板,涵盖硬件差异对比、工程配置调整、外设适配及编译排错等关键步骤,帮助开发者5分钟内完成工程移植,大幅提升开发效率。

weixin_30879169的博客 409

SQL02:求解连续计算问题

日常工作中可能会遇到两种求解连续的问题,第一种是计算连续出现的次数,第二种是和日期相关,比如用户最大连续登录天数等。既然下来我们分别讲解这两种问题的解题方法。

weixin_44744736的博客 1250

CPLD新手必看:安路EF2系列配置与烧录的避坑指南(含完整流程)

本文为CPLD新手提供了安路EF2系列芯片从硬件设计到软件烧录的完整避坑指南。重点解析了电源系统、时钟复位、JTAG接口等关键电路设计要点,并详细介绍了使用TD软件进行工程创建、代码编写、引脚分配及程序烧录的全流程,帮助开发者快速上手并规避常见问题。

weixin_29217235的博客 359

基于单片机电能质量检测仪设计

*单片机设计介绍,基于单片机电能质量检测仪设计。

2201_75940997的博客 1208

mysql查询到昨天为止连续登陆天数_连续时间查询问题-查询一个用户连续登陆天数超过N天的用户...

问题:比如查询一个用户连续登陆天数超过7天的用户,或者查询连续在7天的某个时间段登陆的用户。网上查询sql的语句的用法,对于hive来说也可以试试,查询词"SQL 连续天数查询"如果使用hadoop如何解决??思路(以连续N天登陆为例):1、计算出每天登陆的用户集合1、使用MR,第一个job(map以日期为key,对用户进行分组输出。reduce设计:内部构造一个以N容量大小的列表(作为队列),模...

weixin_28972687的博客 601

autoDL算力云装Xinference[坑与步骤]

在页面直接点击下载会出现下着下载进度条消失,试了几次才出现这个报错,现在我们就继续安装缺少的包吧。这一步成功绕开了系统盘空间限制。先租用一个合适的服务器,建议不要选最新版本,跟我选的一样即可,不然后面会出现。最近在 AutoDL 上尝试部署。🚫 不要直接使用以下命令。点击下面链接即可打开。

ngadminq的博客 2388

SQL面试题挑战07:间隔连续问题(连续的升级版)

下面是某游戏公司记录的用户每日登录数据, 计算每个用户最大的连续登录天数,定义连续登录时可以间隔一天。举例:如果一个用户在 1,3,5,6,9 登录了游戏,则视为连续 6 天登录。这种解法是比较常见的,很多场景都可以这样使用。还有比如计算用户的会话数,当两次会话时间超过1分钟时就算做不同的会话,也可以这样做。这是个连续问题的升级版,当满足某种要求时我们也是算作连续的,所以不能使用传统的连续编号,然后做差值的解法了。补充:hive登录相关传送门。

weixin_43597208的博客 1015

无网环境也能玩转DBeaver?手把手教你离线安装与ClickHouse连接(附实测jar包)

本文详细介绍了在无网环境下如何离线安装DBeaver并配置ClickHouse连接的完整指南。通过准备必备工具如DBeaver安装包、ClickHouse JDBC驱动及Maven本地仓库,确保在物理隔离环境中实现数据库管理。文章包含详细的安装步骤、驱动配置和性能优化建议,帮助开发者在严格网络限制下高效工作。

weixin_42635064的博客 377

Windows上搭建OpenHarmony星闪开发环境:HiSpark Studio全流程指南

嵌入式开发中,环境搭建是项目启动的关键步骤。OpenHarmony作为开源操作系统,其构建体系依赖Python脚本和GN/Ninja工具链,对版本兼容性要求严格。星闪(NearLink)技术作为新一代短距无线通信方案,在时延、并发和抗干扰方面优势显著,广泛应用于智能家居、工业控制等场景。在Windows平台上,通过HiSpark Studio集成开发工具,开发者可高效完成代码编辑、编译、烧录与调试。然而,Python版本冲突、环境变量配置、驱动签名等问题常导致搭建失败。本文详细拆解从系统准备到编译验证的全流

weixin_32658257的博客 351

HQL:用户连续登陆问题

HQL:用户连续登陆问题 问题:求一个用户连续登陆多少天,并且间隔一天也算连续。 数据: id login id001 2021-01-01 id001 2021-01-02 id001 2021-01-03 id001 2021-01-05 id001 2021-01-07 id001 2021-01-08 id001 2021-01-15 id001 2021-01-16 举例说明:id为id001的用户在1号至8号连续登陆8天。 建表语句: create table tx ( i

默存的博客 570

面向口齿不清者的语音识别新突破:用大模型拯救“听不懂”的声音

面向构音障碍患者的语音识别新突破:大语言模型显著提升识别准确率 国际语音研究团队在Interspeech 2025发表最新成果,通过将大语言模型(LLM)融入语音识别系统,显著改善了对构音障碍(dysarthria)患者语音的识别效果。研究表明: 传统语音识别(如CTC模型)对构音障碍语音的词错误率(WER)高达50-54%,Whisper模型降至38-40%。 引入LLM解码器后,BART模型将WER降至30-32%,而Whisper-Vicuna组合更将WER降低至21-26%。 关键优势:LLM能有效

帅小柏的博客 274

Hive专题:数据开发面试高频题(TopN、留存、连续登录等)

本文精选Hive SQL面试中的8类高频题型,涵盖分组TopN、用户留存率、连续登录、行为漏斗分析等典型场景。针对每个问题提供业务背景、解题思路、完整SQL代码及关键点解析。内容聚焦窗口函数、日期计算、条件聚合等核心技术,包含分组排名(ROW_NUMBER/RANK/DENSE_RANK)、留存率计算(DATE_ADD/DATEDIFF)、连续登录判断(日期减排名技巧)等实用方法。所有示例均基于真实业务场景设计,可直接应用于数据开发面试准备或日常数据分析工作。

m0_46786082的博客 1637

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

HIVE解决连续登录问题

HIVE解决连续登录问题

2301_77836489的博客 570

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

hivesql刷题40题-【11-20】

hivesql刷题

ABC15732186271的博客 1039

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

上一篇: Hive安装第二步:CentOS7安装jdk1.8.0,MySQL5.7,Hadoop2.10.1,Hive2.3.7,sqoop1.4.7,Navicat连接hive,MySQL驱动jar包
下一篇: 时间序列预测 相关比赛和网站
free youreself
博客等级 码龄8年 20粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值