hiveSql 计算两段时间范围交集的连续每月天数

使用HiveSQL实现开始到结束日期之间的所有日期 查询1: set hive.exec.mode.local.auto=true; --开启本地模式 set hive.cli.print.header=true; --打印表.列名 select tmp.*, t.*, date_add(start_date, pos) as mid_date from( select '1' as uid, '2020-01-01' as start_date, '2020-01-05' as end_date 阅读详情

hiveSql 计算两段时间范围交集的连续每月天数

需求解读

文章名听着可能比较难理解嗷,先详细说下具体需求是啥样的。想计算在指定时间段内的有效会员,会员数据可能有月卡、年卡等,指定时间可能是一天或者一个时间范围。所有会员时间范围与指定时间范围有交集的会员订单数据,计算出在指定时间段内每月的有效天数。

说的可能比较抽象,具体看数据。

已知数据

有用户购买会员的会员明细数据如下:

用户id会员开始时间会员结束时间
A2021-01-012021-04-01
A2021-06-012021-09-01
B2021-03-012021-04-01
C2021-04-012021-05-01
C2021-06-012021-07-01

期望结果

现在想计算出指定时间段内是有效会员的所有会员在指定时间段内的每个月的有效天数,期望数据如下:

例如:想计算2021-02-20 到 20221-06-15范围内所有有效会员,在这段时间内的每月有效天数。

用户id指定时间范围月份在该月份有效天数
A2021-029
A2021-0331
A2021-041
A2021-0615
B2021-0331
B2021-041
C2021-0430
C2021-051
C2021-0615

上述结果数据可以看出,A用户会员购买记录有两单,与指定时间(2021-02-20 到 20221-06-15)都有交集,则这两单在指定时间范围都是有效会员。第一单是21年1月1号到4月1号,与指定时间交集范围是2021-02-20 到 2021-04-01。则需计算2021-02-20 到 2021-04-01这段时间区间的每月天数,区间是全闭区间。

基本思路

到这可以思考下大概需要怎么做?
1.首先注意是指定范围内的有效会员。第一步是要筛选出哪些会员记录是有效(即会员时间范围与指定时间范围有交集),并且要计算出交集的开始结束时间。

2.第一步完成后,得到所有有效会员记录,有效开始结束时间,此时要对每一条记录(注意这里是要对每一条记录,而不是每个用户,因为一个用户可能有多条购买会员记录。做一行转多行的拆分有效时间范围月份操作)。

3.第二步完成后,此时应该得到每一条有效记录在指定时间范围的每个月的数据。此时需要判断有效开始时间是否在拆分后的月份内。按照真实开始、结束时间计算个月内的有效天数。

数据实践

按照上述步骤,写sql实践。相对来说,麻烦点其实在第二步,需要将交集时间拆分到每个月。让俺们一步一步看:

首先准备数据:

with table_name as ( -- 测试数据
    select 'A' as username,'2021-01-01' as start_time, '2021-04-01' as end_time
    union all
    select 'A' as username,'2021-06-01' as start_time, '2021-09-01' as end_time
    union all
    select 'B' as username,'2021-03-01' as start_time, '2021-04-01' as end_time
    union all
    select 'C' as username,'2021-04-01' as start_time, '2021-05-01' as end_time
    union all
    select 'C' as username,'2021-06-01' as start_time, '2021-07-01' as end_time
)
  • 筛选有效会员记录(即计算会员范围和指定范围的交集)
    时间段1:[A,B] ;时间段2:[C,D]。
    交集计算:A <= D and B >= C
    真实交集时间段:[A <= C则取C否则取A , B >= D则取D否则取B]
    irank:注意这里多了一个ROW_NUMBER()开窗,目的是为了会员记录的唯一性,后续用这个唯一id和用户一起分组拆分有效月。因为如果只按照用户分区,会有一个用户购买多次会员的情况,导致拆分月份混乱。
select
    username,
    start_time as vip_start_time,
    end_time as vip_end_time,
    case when start_time <= '2021-02-20' then '2021-02-20' else start_time end as real_start_time,
    case when end_time >= '2021-06-15' then '2021-06-15' else end_time end as real_end_time
    ,ROW_NUMBER() OVER(PARTITION BY 1) AS irank 
from table_name
where start_time <= '2021-06-15' and end_time >= '2021-02-20'

第一步执行结果:
在这里插入图片描述

  • 第二步需要拆分真实交集时间范围到每个月上,想到可以使用EXPLODE()方法将月份拆开。但是现在只是一个真实开始日期,真实结束日期。要怎么拆呢?而且拆完后还要计算出月份第增的效果。例如第一步结果中第一条有效开始日期,结束日期是 2021-02-20 到 2021-04-01。拆完之后需要2月、3月、4月三条数据。
    此时想到其实可以利用repeat()方法,重复交集有效时间段月份数的字段串"1 "(“1” 和 " ")即可。配合trim()将最后的空格去除。之所以是"1"是因为后续可以利用sum() over开窗这个转成数字的1累加计算月份递增操作。见sql:
with table_name as ( -- 测试数据
    select 'A' as username,'2021-01-01' as start_time, '2021-04-01' as end_time
    union all
    select 'A' as username,'2021-06-01' as start_time, '2021-09-01' as end_time
    union all
    select 'B' as username,'2021-03-01' as start_time, '2021-04-01' as end_time
    union all
    select 'C' as username,'2021-04-01' as start_time, '2021-05-01' as end_time
    union all
    select 'C' as username,'2021-06-01' as start_time, '2021-07-01' as end_time
)
select
     username,
     vip_start_time,
     vip_end_time,
     real_start_time,
     real_end_time,
     irank,
     trim(repeat('1 ',DATEDIFF(to_date(real_end_time,'yyyy-mm-dd'), to_date(real_start_time,'yyyy-mm-dd'),'mm') + 1)) as str
 from
     (select
         username,
         start_time as vip_start_time,
         end_time as vip_end_time,
         case when start_time <= '2021-02-20' then '2021-02-20' else start_time end as real_start_time,
         case when end_time >= '2021-06-15' then '2021-06-15' else end_time end as real_end_time,
         ROW_NUMBER() OVER(PARTITION BY 1) AS irank 
     from table_name
     where start_time <= '2021-06-15' and end_time >= '2021-02-20'
     ) t

此处的:

trim(repeat('1 ',DATEDIFF(to_date(real_end_time,'yyyy-mm-dd'), to_date(real_start_time,'yyyy-mm-dd'),'mm') + 1)) as str

将真实开始日期与真实结束日期月份差+1后 repeat('1 ')后再trim。可以得到每条数据后跟着真实日期月份差的"1 "数量(即上述步骤2的str字段)。可见该小步骤执行结果:
在这里插入图片描述
再将str字段EXPLODE()拆分后。sum() over每个拆分后的1,按照对应真实开始时间去加这个sum()over()开窗后的值,可以得到递增真实月份。sql如下:

with table_name as ( -- 测试数据
    select 'A' as username,'2021-01-01' as start_time, '2021-04-01' as end_time
    union all
    select 'A' as username,'2021-06-01' as start_time, '2021-09-01' as end_time
    union all
    select 'B' as username,'2021-03-01' as start_time, '2021-04-01' as end_time
    union all
    select 'C' as username,'2021-04-01' as start_time, '2021-05-01' as end_time
    union all
    select 'C' as username,'2021-06-01' as start_time, '2021-07-01' as end_time
)
select
    username,
    vip_start_time,
    vip_end_time,
    real_start_time,
    real_end_time,
    dateadd(to_date(real_start_time,'yyyy-mm-dd'),sum(cast(trim(flag) as bigint)) over(partition by username,irank order by real_start_time)-1,'mm') as tmp_date
from(
    select
        username,
        vip_start_time,
        vip_end_time,
        real_start_time,
        real_end_time,
        irank,
        trim(repeat('1 ',DATEDIFF(to_date(real_end_time,'yyyy-mm-dd'), to_date(real_start_time,'yyyy-mm-dd'),'mm') + 1)) as str
    from
        (select
            username,
            start_time as vip_start_time,
            end_time as vip_end_time,
            case when start_time <= '2021-02-20' then '2021-02-20' else start_time end as real_start_time,
            case when end_time >= '2021-06-15' then '2021-06-15' else end_time end as real_end_time,
            ROW_NUMBER() OVER(PARTITION BY 1) AS irank 
        from table_name
        where start_time <= '2021-06-15' and end_time >= '2021-02-20'
        ) t
    ) t1
LATERAL view EXPLODE(split( str,' ')) ABTable as flag

此处的:

dateadd(to_date(real_start_time,'yyyy-mm-dd'),sum(cast(trim(flag) as bigint)) over(partition by username,irank order by real_start_time)-1,'mm') as tmp_date

将str字段拆分后cast()成数字类型,sum() over() 按照用户名即irank保证数据唯一性,避免用户多单会员记录情况。注意此处计算真实开始时间加和月份数的时候 月份数需要做减1操作。因为同月加0。异邻月加1,依次类推,所以要做减1操作。
执行结果如下:
在这里插入图片描述

  • 第三步需要判断real_start_time 或 real_end_time是否和tmp_date是相同月份,因为这关乎计算有效天数。例如可以看到第二步的结果第一条数据,real_start_time:2021-02-20 ;
    real_end_time:2021-04-01;
    tmp_date:2021-02-20 00:00:00
    此时real_start_time和tmp_date同属2月份,可知道这条数据应该是用2月份的月末减去real_start_time+1天,从而得到二月份的有效天数。
    可以看到第二步的结果第二条数据,
    real_start_time:2021-02-20 ;
    real_end_time:2021-04-01;
    tmp_date:2021-03-20 00:00:00,
    此时real_start_time、real_end_time和tmp_date都不在同一个月,可知道这条数据应该是3月份的整个月的天数,从而得到三月份的有效天数。
    可以看到第二步的结果第三条数据,
    real_start_time:2021-02-20 ;
    real_end_time:2021-04-01;
    tmp_date:2021-04-20 00:00:00,
    此时real_end_time和tmp_date同属4月份,可知道这条数据应该是real_end_time减去4月初一加1的天数,从而得到四月份的有效天数。
    所以真实开始时间、真实结束时间是否和拆分的月份同月很关键。可以标识出两个字段 real_start_time是否和tmp_date同月、real_end_time是否和tmp_date同月。sql如下:
with table_name as ( -- 测试数据
    select 'A' as username,'2021-01-01' as start_time, '2021-04-01' as end_time
    union all
    select 'A' as username,'2021-06-01' as start_time, '2021-09-01' as end_time
    union all
    select 'B' as username,'2021-03-01' as start_time, '2021-04-01' as end_time
    union all
    select 'C' as username,'2021-04-01' as start_time, '2021-05-01' as end_time
    union all
    select 'C' as username,'2021-06-01' as start_time, '2021-07-01' as end_time
)
select
    username,
    vip_start_time,
    vip_end_time,
    real_start_time,
    real_end_time,
    substr(tmp_date,1,7) as per_month,
    if(substr(real_start_time,1,7) = substr(tmp_date,1,7) ,1,0) as is_s_month,
    if(substr(real_end_time,1,7) = substr(tmp_date,1,7) ,1,0) as is_e_month
from
    (
    select
        username,
        vip_start_time,
        vip_end_time,
        real_start_time,
        real_end_time,
        dateadd(to_date(real_start_time,'yyyy-mm-dd'),sum(cast(trim(flag) as bigint)) over(partition by username,irank order by real_start_time)-1,'mm') as tmp_date
    from(
        select
            username,
            vip_start_time,
            vip_end_time,
            real_start_time,
            real_end_time,
            irank,
            trim(repeat('1 ',DATEDIFF(to_date(real_end_time,'yyyy-mm-dd'), to_date(real_start_time,'yyyy-mm-dd'),'mm') + 1)) as str
        from
            (select
                username,
                start_time as vip_start_time,
                end_time as vip_end_time,
                case when start_time <= '2021-02-20' then '2021-02-20' else start_time end as real_start_time,
                case when end_time >= '2021-06-15' then '2021-06-15' else end_time end as real_end_time,
                ROW_NUMBER() OVER(PARTITION BY 1) AS irank 
            from table_name
            where start_time <= '2021-06-15' and end_time >= '2021-02-20'
            ) t
        ) t1
    LATERAL view EXPLODE(split( str,' ')) ABTable as flag
    ) t2

该小步骤sql执行结果如下:
在这里插入图片描述

此时只需要利用is_s_month和 is_e_month判断怎么计算当月有效天数即可,逻辑如下:

  1. 当is_s_month 和 is_e_month 都是0,表示当天数据是整月,两边都不和拆分月份同月。直接计算tmp_date的整月天数即可。
  2. 当is_s_month 和 is_e_month 都是1,表示真实开始日期,和真实结束日期同月,只有一个月要计算有效天数,直接用real_end_date减去real_start_date+1天即可。
  3. 当is_s_month 和 is_e_month 有任意一个是1另一个是0,此时需要判断开始时间还是结束时间与拆分月份是同月。需要再写一个case when判断
    a).真实开始日期和tmp_date同月(tmp_date月末减real_start_date+1天)
    b)真实结束日期和tmp_date同月(real_end_date减去tmp_date月初减+1天)

sql如下:

case when is_s_month + is_e_month = 0 then 
        datediff(dateadd(dateadd(to_date(per_month,'yyyy-mm'),1,'mm'),-1,'dd'), to_date(per_month,'yyyy-mm'),'dd')+1
    when is_s_month + is_e_month = 2 then 
        datediff(to_date(real_end_time,'yyyy-mm-dd'),to_date(real_start_time,'yyyy-mm-dd'),'dd')+1
    else
        case when is_s_month = 1 
        then datediff(dateadd(dateadd( to_date(concat(substr(real_start_time,1,7),'-01'),'yyyy-mm-dd'),1,'mm' ),-1,'dd'),to_date(real_start_time,'yyyy-mm-dd'),'dd')+1
        else datediff( to_date(real_end_time,'yyyy-mm-dd'), to_date(concat(substr(real_end_time,1,7),'-01'),'yyyy-mm-dd'),'dd')+1
        end 
end as daily_month

完整代码

with table_name as ( -- 测试数据
    select 'A' as username,'2021-01-01' as start_time, '2021-04-01' as end_time
    union all
    select 'A' as username,'2021-06-01' as start_time, '2021-09-01' as end_time
    union all
    select 'B' as username,'2021-03-01' as start_time, '2021-04-01' as end_time
    union all
    select 'C' as username,'2021-04-01' as start_time, '2021-05-01' as end_time
    union all
    select 'C' as username,'2021-06-01' as start_time, '2021-07-01' as end_time
)
select
    username,
    vip_start_time,
    vip_end_time,
    real_start_time,
    real_end_time,
    per_month,
    is_s_month,
    is_e_month,
    case 
        when is_s_month + is_e_month = 0 then 
            datediff(dateadd(dateadd(to_date(per_month,'yyyy-mm'),1,'mm'),-1,'dd'), to_date(per_month,'yyyy-mm'),'dd')+1
        when is_s_month + is_e_month = 2 then 
            datediff(to_date(real_end_time,'yyyy-mm-dd'),to_date(real_start_time,'yyyy-mm-dd'),'dd')+1
        else
            case when is_s_month = 1 
            then datediff(dateadd(dateadd( to_date(concat(substr(real_start_time,1,7),'-01'),'yyyy-mm-dd'),1,'mm' ),-1,'dd'),to_date(real_start_time,'yyyy-mm-dd'),'dd')+1
            else datediff( to_date(real_end_time,'yyyy-mm-dd'), to_date(concat(substr(real_end_time,1,7),'-01'),'yyyy-mm-dd'),'dd')+1
            end 
    end as daily_month 
from (
    select
        username,
        vip_start_time,
        vip_end_time,
        real_start_time,
        real_end_time,
        substr(tmp_date,1,7) as per_month,
        if(substr(real_start_time,1,7) = substr(tmp_date,1,7) ,1,0) as is_s_month,
        if(substr(real_end_time,1,7) = substr(tmp_date,1,7) ,1,0) as is_e_month
    from
        (
        select
            username,
            vip_start_time,
            vip_end_time,
            real_start_time,
            real_end_time,
            dateadd(to_date(real_start_time,'yyyy-mm-dd'),sum(cast(trim(flag) as bigint)) over(partition by username,irank order by real_start_time)-1,'mm') as tmp_date
        from(
            select
                username,
                vip_start_time,
                vip_end_time,
                real_start_time,
                real_end_time,
                irank,
                trim(repeat('1 ',DATEDIFF(to_date(real_end_time,'yyyy-mm-dd'), to_date(real_start_time,'yyyy-mm-dd'),'mm') + 1)) as str
            from
                (select
                    username,
                    start_time as vip_start_time,
                    end_time as vip_end_time,
                    case when start_time <= '2021-02-20' then '2021-02-20' else start_time end as real_start_time,
                    case when end_time >= '2021-06-15' then '2021-06-15' else end_time end as real_end_time,
                    ROW_NUMBER() OVER(PARTITION BY 1) AS irank 
                from table_name
                where start_time <= '2021-06-15' and end_time >= '2021-02-20'
                ) t
            ) t1
        LATERAL view EXPLODE(split( str,' ')) ABTable as flag
        ) t2
    ) t3

sql结果:
在这里插入图片描述

总结归纳

主要是运用开窗函数计算递增月份,其他的就是逻辑计算有效天数了。repeat('1 ')再sum() over累积月份相对比较巧妙。如果有其他更好的方式,希望评论区或者私信不吝赐教。

【HiveSql面试题】SQL求连续登陆天数(允许间隔) 求每个用户最大的连续登陆天数,断一天还算连续登录 阅读详情

相关推荐

HiveSQL题——用户连续登陆

HiveSQL题——用户连续登陆

爱吃辣条的博客 2119

hive 求两个月之间的时间间隔(月留存)

最近在计算日留存和月留存 日留存通常会用到的函数是datediff() 使用格式如下:datediff(yyyy-MM-dd,yyyy-MM-dd)可以计算出两个日期间隔多少天 月留存的话用这个就不太合适了,因为有的月份是29天有的是30天还有31天的,所以想要计算出间隔天数➗月份天数是不准确的 因此我先用: show functions like '*month*'; 查出关于month的函数有如下几个: function 0 add_months 1 dayofmonth 2 ...

weixin_38629422的博客 7479

HiveSql面试题:连续签到领金币问题【百度-困难题-通用解法】

本文给出了一种连续签到领取金币的一种通用解法,通过窗口函数生成标签值进行辅助计算

石榴姐yyds 3040

Hive中计算两个日期之间的月份差

举例如下: select floor(months_between('2018-07-01','2018-02-04')) from default.dual 返回值为: 4 注意:  1.日期格式为: yyyy-mm-dd; 2.如果日期格式为: yyyymmdd,则需要使用转换为yyyy-mm-dd 转换函数为:from_unixtime(unix_timestamp(,'yyyymmdd'...

qq646748739的专栏 4万+

Hive日期函数应用之月份差值计算

一个常见的方法是首先将日期转换为 Unix 时间戳(如果它们还不是的话),然后通过计算时间戳之间的差值,并将这个差值转换为月份。然而,这种方法并不总是准确的,因为它假设每个月都有相同的天数(30或31天),而实际上不同月份的天数是不同的。或其他适当的函数来将它们转换为日期类型,或者确保它们是以 Hive 可以解析的日期格式存储的。函数来分别提取日期中的年份和月份部分,然后进行相应的计算。所以上面的代码输出后的数值是有小数点的,还需要进行转换。另外,请注意,这种方法不会考虑日期中的日部分。

yang1015661763的博客 4053

Hive获取连续时间用 posexplode

获取连续的日期 假如我们需要获取2020-07-15至2020-07-21间所有的日期,可以像这样写 SELECT pos, date_add( start_date, pos ) dd FROM ( SELECT '2020-07-15' AS start_date, '2020-07-21' AS end_date ) temp lateral VIEW posexplode ( split ( space( datediff( end_date, start_date ) ), '

someInNeed的博客 3441

hiveSql 实现计算用户的最大连续登录天数 & 创建断连后的连续序号

这里写目录标题1.需求一:1.1.已有数据1.2.期望结果1.3.分析1.4.实现2.需求二2.1.已有数据2.2.期望结果2.3.分析2.4.实现方式一2.5.实现方式二 1.需求一: 计算每个用户在一段时间内的最大连续登录天数 1.1.已有数据 username logintime A 2021-10-01 A 2021-10-02 A 2021-10-03 A 2021-10-05 A 2021-10-06 A 2021-10-09 B 2021-10-01

i_mycode的博客 3912

SQL进阶技巧:用户历史最大连续签到天数问题| 断点分组问题

本题作为面试题,还是有一定难度,特别在比较紧张的环境下写出比较完备的SQL来是不容易的。本题第二问难度较高,要想写出来需要一定的技巧,但是如果看过我之前的SQL面试题的话,本题很容易想到按照某事件进行分桶的算法(如分桶重排序题目,HiveSql面试题8--分桶重排序问题2,链接https://blog.youkuaiyun.com/godlovedaniel/article/details/107234878?spm=1001.2014.3001.5502)此类题目在我的博客中比较多,这类问题其实只要理解了算法本质,可

石榴姐yyds 3759

HiveSQL找出连续日期及连续的天数

参考:https://www.cnblogs.com/Joetao/p/3842242.html 参考关键代码: select 本期起始日期=min(rq),本期终止日期=max(rq), 持续天数=max(id1)-min(id1)+1, 距上一期天数=case a.id1-a.id2 when -1 then 0 else max(datediff(d,rq2...

卡卡大叔 8710

红外弱小目标检测:IPI算法解读及MATLAB复现

参考文献:[1]C. Gaoet al., “Infrared Patch-Image Model for Small Target Detection in a Single Image,” vol. 22, no. 12, pp. 4996–5009, 2013. 本文整理????论文笔记,并附MATLAB实现代码。 一、阅读笔记 1. 摘要 IPI算法是单帧检测算法; 利用背景的非局部子相关性(non-local self-correlation ofbackground),将目标检测转..

小草莓的魔法笔记 1万+

可乐学习NVMe之一:为什么SSD需要NVMe

1. NVMe SSD 结构简图 整体来看,NVMe SSD可以分为三部分,host端的驱动NVMe Driver、PCIe+NVMe实现的控制器以及NAND Flash+DDR4/DDR5存储介质。 芯片回片后Host侧软件或者驱动开发主要在应用层,通过一些测试工具进行benchmark跑分测试,performance性能分析,latency分析、stress-testing等等: 那么,接下来阐述为什么SSD需要NVMe,并再后续的文章介绍NVMe协议分析,个人针对协议的理解,如果有不当之处,还请各

Lucky 3174

用HiveSQL计算连续天数问题的方法

大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!在日常工作中,可能经常会接到业务方类似这样的需求:统计今年每个用户最长连续签到的天数;统计最近...

微信搜:import_bigdata,大数据领域硬核原创作者 1641

数学建模传染病模型_【数学建模】之传染病模型

点击【拇指笔记】,关注我的公众号。SE模型缺点:没有考虑接触到的人中还有一部分病人,所以所有人并不会全部被感染。建立模型:已感染人数(病人)每个病人每天有效接触(足以使人致病)人数为根据(1)(2)可以建立模型:等式两边同时除以\Delta t由导数定义有同时,取\Delta t = 1天由(1)(5)两式可得最终的模型:Logistic模型缺点:区分已感染者(病人)和未感染者(健康人)...

weixin_39590453的博客 2228

hive sql 怎么实现循环_用HiveSQL计算连续天数问题的方法

点击右侧关注,大数据开发领域最强公众号! 点击右侧关注,暴走大数据! 在日常工作中,可能经常会接到业务方类似这样的需求:统计今年每个用户最长连续签到的天数;统计最近一个月连续有回帖超过5天的话题;统计本季度中连续3天以上单日销量超过100的商品。这种“连续天数”问题看似简单,但实际上对思维能力和编写复杂SQL语句的能力要求比较高。下面以我们曾经接到的一个需求为例,提出解决办法。...

weixin_39935571的博客 2114

GPT注册与使用全流程详解:从零到一的实战指南

本文详细介绍了GPT的注册与使用全流程,从认识GPT作为智能对话助手开始,到注册前的设备与环境准备、手把手完成账号注册、首次使用指南以及进阶使用技巧。文章还涵盖了安全使用与注意事项,帮助用户从零开始高效利用GPT提升工作效率和内容创作能力。

weixin_33843409的博客 409

解决nfs挂载根文件系统报错:VFS: Unable to mount root fs via NFS, trying floppy.

解决nfs挂载根文件系统报错的问题:VFS: Unable to mount root fs via NFS, trying floppy.

汉尼拔勇闯天涯 4579

HiveSQL找出连续日期及连续的天数(方法二)

经常遇到统计连续行为日期及连续天数的问题,之前的解决方案相对复杂,本次给出最简单的解决方案。 1、测试数据: use xxx; drop table test_serialdate; create table if not exists test_serialdate ( user_id string comment '用户ID', sign_date string comment '签到日期' ) stored as orcfile ; insert into table test

卡卡大叔 3658

RK3588零拷贝视频流水线实战:用GStreamer+Mpp实现8K硬解与DRM显示

本文深入探讨了在RK3588平台上构建零拷贝视频流水线的工程实践。通过结合GStreamer与MPP,实现了从8K视频硬解到DRM显示的全流程硬件加速,有效解决了高分辨率视频处理中的DDR带宽瓶颈问题。文章详细解析了dma-buf数据流机制、管道构建与性能优化策略,为多路视频并发处理提供了高效的系统架构解决方案。

github5actions的博客 1170

hiveSql 跨N天最大连续统计

hiveSql 跨N天最大连续统计

i_mycode的博客 1108

YOLOv11涨点改进| CVPR 2026 |独家创新首发、特征融合改进篇| 引入FAAFusion傅里叶角对准融合模块,促进高低频特征融合,增强模型在小目标、密集目标检测和旋转目标检测任务高效涨点

🔥本文提出FAAFusion傅里叶角对准融合模块,用于改进YOLOv11网络模型。该模块通过在特征金字塔融合阶段对齐高低层特征的方向信息,缓解传统FPN直接融合带来的方向冲突问题。FAAFusion利用傅里叶旋转等变性原理,在频域估计主方向并进行特征对齐,显著提升了多尺度特征表达的一致性与有效性。实验表明,该方法在DOTA等遥感数据集上取得了新的最先进水平,特别适用于旋转目标检测任务。文章详细介绍了模块原理、结构优势,并提供了三种不同的YOLOv11改进配置方案和完整的核心代码实现。

Ai缝合怪、助力小伙伴高效发论文 154

OpenClaw简介--windows系统安装OpenClaw

在windows安装OpenClaw实现代替人工操作。步骤流程详细,图文并茂。

直到世界的尽头 5353

弹性方法计算连续梁板内力_用HiveSQL计算连续天数问题的方法

大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!在日常工作中,可能经常会接到业务方类似这样的需求:统计今年每个用户最长连续签到的天数;统计最近一个月连续有回帖超过5天的话题;统计本季度中连续3天以上单日销量超过100的商品。这种“连续天数”问题看似简单,但实际上对思维能力和编写复杂SQL语句的能力要求比较高。下面以我们曾经接到的一个需求为例,提...

weixin_32115711的博客 108

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Hive_HQL_复杂SQL_连续发单天数

原文地址: 1.Hive SQL复杂场景实现(1) —— 连续发单天数 https://blog.youkuaiyun.com/Adrian_Wang/article/details/89791948 至今在数据分析岗摸爬滚打已有一年,尚且不敢说自己挖掘洞见的本事提升多少。但实打实的与SQL打了一年的交道,接触过各种各样的业务场景,完成过各种千奇百怪的需求,自我感觉在sql编程上也颇有体会。 相信接触过SQL的人都明白知道其非常容易上手,作为一个结构化查询语言,其在数据提取上给人们提供了非常大...

迎难而上 1497

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

hiveSql完成递归计算2.0

hiveSql实现递归思想,计算数据

i_mycode的博客 5532

Hive 面试题 | 连续登陆天数统计

连续登陆天数统计题目分析SQL解析与总结 题目分析 1.已知table1,请用 hivesql 分别实现 table2 和 table3 table1 为用户活跃信息表,其中active_dt 为活跃日期。 usr_id|active_dt A |20200101 A |20200102 A |20200103 A |20200105 A |20200106 A |20200109 请用hivesql 实现 table2(计算用户当月截止每天的

Klingx的博客 707

HiveSQL求用户连续到店购买天数以及与上次到店购买间隔天数

HSQL-需求:求用户连续到店购买天数以及与上次到店购买间隔天数 Step 1:对原始数据进行聚合/去重 Step 2:对用户进行分组排序 Step 3:日期与序号进行减法运算 Step 4:获取开始连续的日期以及连续天数 Step 5:使用Hive中lead函数 Step 1:对数据进行聚合/去重 重点是理解解题思路 1.对数据按天进行初步聚合或去重(因为一个用户可能在某天有多次购买行为) select id,order_date from TABLE_NAME where d='10' group by

是故事啊~关注我~ 1927
上一篇: shell学习-变量
下一篇: shell学习-运算符
@nanami
博客等级 码龄9年 4247粉丝 53原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@nanami

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值