hiveSql 连续区间的起始结束位置

HiveSQL 窗口函数 窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。 阅读详情

hiveSql 连续区间的起始结束位置

需求

有登录日志,求每个用户的每次连续登录的起始和结束日期

有用户登录日志如下:
表:user_login,userid:用户id,date:登录日期
为了简化说明这里date日期用数字表示。

useriddate
A1
A2
A3
A6
A7
A8
A10
……
B1

这里需求想要最终结果为:连续时间的起始,结束日期

userids_datee_date
A13
A68
A1010

到这里可以先思考下如何用hivesql实现


分析

很明显这里是利用重分组思想,将连续的日期分到同一组之后,取组内的最大最小值即可

实现

select 
	t1.userid,
	min(t1.date) as s_date,
	max(t1.date) as e_date
from
	(select 
		t.userid,t.date,
		sum(t.flag) over (partition by userid order by t.date) as groupid
	from
		(select
			userid,date,
			if(date - lag(date,1,date) over(partition by userid order by date) > 1,1,0) as flag
		from user_login
		) t
	) t1
group by t1.userid,t1.groupid

最后

喜欢的点赞、关注、收藏吧~ 感谢支持~~

使用HiveSQL实现开始到结束日期之间的所有日期 查询1: set hive.exec.mode.local.auto=true; --开启本地模式 set hive.cli.print.header=true; --打印表.列名 select tmp.*, t.*, date_add(start_date, pos) as mid_date from( select '1' as uid, '2020-01-01' as start_date, '2020-01-05' as end_date 阅读详情

相关推荐

SQL窗口分析函数使用详解系列三之偏移量类窗口函数

SQL窗口分析函数能够支持我们在更多的场景直接进行数据处理,进而更加深入和高效的进行数据分析。

鲁边的博客 1330

Hive 年龄区间判断优化

区间可以根据自己的实际业务去灵活调整,我这里只是提供一种思路。不光写起来索然无味,看起来也很 low。

JIE的博客 --- moon_coder 612

SQL进阶技巧:如何定位连续区间的起始位置和结束位置?【拼多多】

0 题目 表:Logs +---------------+---------+ | Column Name | Type | +---------------+---------+ | log_id | int | +---------------+---------+ id 是上表的主键。 上表的每一行包含日志表中的一个 ID。 后来一些 ID 从 Logs 表中删除。编写一个 SQL 查询得到 Logs 表中的连续区间的开始数字和结束数字。 将查询表按照 start

石榴姐yyds 1713

HiveSQL-窗口查询-区间合并

区间合并在业务需求开发中偶尔可以预见,LeetCode中第56题便是该场景的题。本文从改题解法开始,引申到该问题的HiveSQL实现(毕竟本人是数据开发,很多需求都得用SQL实现)。

weixin_42265234的博客 1006

S32DS 3.5.8离线包怎么用?保姆级教程教你手动安装S32K3开发环境(附资源下载)

本文详细介绍了S32DS 3.5.8离线包的安装方法,适用于S32K3开发环境的手动搭建。从资源获取、完整性验证到分步安装指南,提供了全面的离线部署解决方案,特别适合军工/车企内网开发等场景。文章还包含版本选择建议、常见问题排查及团队协作方案,帮助开发者高效完成环境配置。

weixin_30471561的博客 483

别再只用LSTM了!用Temporal Fusion Transformer (TFT) 搞定多变量时序预测,附PyTorch实战代码

本文介绍了Temporal Fusion Transformer (TFT) 在多变量时序预测中的优势,并提供了PyTorch实战代码。TFT通过三重注意力机制解决了LSTM在特征交互、静态特征处理和解释性方面的不足,显著提升了预测精度和可解释性。文章详细讲解了TFT的核心组件构建、数据预处理、模型训练技巧及可解释性分析,帮助开发者快速掌握这一先进时序预测技术。

weixin_33712987的博客 280

hive高级查询(二)

Hive聚合运算 - GROUP BY GROUP BY用于分组 Hive基本内置聚合函数与GROUP BY一起使用 如果没有指定GROUP BY子句,则默认聚合整个表 除聚合函数外,所选的其他列也必须包含在GROUP BY中 GROUP BY支持使用CASE WHEN或表达式 select category, max(offervalue) from offers group by category; -- group by使用表达式 select if(category > 4000, 'GOOD

sun_0128的博客 6320

告别手动核对!用这个ABAP报表一键导出所有物料的库存与需求清单

本文介绍了如何通过定制化ABAP报表一键导出SAP系统中所有物料的库存与需求清单,整合MD04、MB52、ME2N等多个事务码的数据,大幅提升供应链管理和生产计划效率。该报表可自动生成包含库存状态、MRP需求、采购订单等关键指标的物料全景视图,帮助企业减少手工操作错误,节省时间成本。

weixin_33725515的博客 469

HiveSQL 窗口函数实战:从基础语法到高级应用

本文深入解析HiveSQL窗口函数的基础语法与高级应用,涵盖PARTITION BY、ORDER BY和ROWS BETWEEN三大核心组件,并通过实战案例展示其在销售排名、用户行为分析、库存管理等场景的应用。掌握窗口函数能显著提升大数据处理效率,是HiveSQL数据分析的必备技能。

weixin_30823001的博客 518

从NVLINK到EthLink:GPU互联技术演进全解析(含最新行业趋势)

本文深入解析了从NVLINK到EthLink的GPU互联技术演进,重点剖析了Scale-up与Scale-out两种核心范式。文章详细对比了NVLINK、UALINK及革命性的EthLink技术,后者创新性地将以太网改造为支持Load/Store与RDMA双语义的高性能互联网络,旨在打破封闭生态,实现高性能与开放性的统一。最后,文章提供了技术选型指南并展望了未来以以太网为主导、语义融合的行业趋势。

weixin_29204749的博客 179

Win10 开机突然蓝屏错误代码0xc0000001安全模式也进不了,不用重装系统怎么修复?(已解决)九个解决参考方案

Win 10专业版HP480G7。

本博客,博文仅代表个人操作经验,不能完全解决你的问题,仅供参考,佛系回复。 1万+

HIVE基础【一 HiveSql基础】

A:列名B:表名C:筛选条件;例:选出城市在北京,性别为女的10个用户名。limit 10;1.利用GROUP BY做聚合计算;2.利用ORDER BY做排序;3.sql执行顺序;4.常用函数组合使用;5.避免常见错误。

姜鱼哥的博客 996

基于深度学习的大豆病害检测识别系统:YOLOv10 + UI界面 + 数据集

YOLOv10是一种高效的目标检测算法,能够在保持高精度的同时,提供较快的检测速度。YOLOv10使用了改进的卷积神经网络架构,并在多个计算机视觉任务中表现出色。在本项目中,我们将使用YOLOv10进行大豆病害的检测和分类。本系统利用YOLOv10算法,实现了大豆病害的实时检测和分类。通过结合深度学习和图像处理技术,可以帮助农业领域的专业人员更加高效地识别和诊断大豆病害,提高农作物的生产力与质量。

YOLO 700

HiveSQL总结:窗口函数,表连接,基础函数等

前面有一篇文章大概讲解了一下Hive的基本概念,其实Hive的本质就是通过写SQL语句来运行MapReduce操作,因此作为Hive使用者,HiveSQL的使用就对我们非常重要了。 HiveSQL其实也是写SQL,只不过它与传统sql有以下几个方面的区别: 可以看到,HSQ具有与生俱来的的处理大数据的能力,因为它是在MapReduce上执行的。Hive提供的字段类型有这些: 这些字段其实经常使用的就个别几个,就简单做个了解即可...

TranSad的博客 727

《从底层结构开始学习FPGA》目录与传送门

《从底层结构开始学习FPGA》目录与传送门

孤独的单刀 16万+

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

HiveSQL正则表达式的应用

最近工作中数据处理方面用到很多不是特别容易处理的数据,用正则表达式的话会让语句显得特别精简,也可以用各种字符串截取函数嵌套处理(必须要有一定规律),总结一下经常用到的几个。 1.正则的通配符简介 1)正则表达式的符号及意义 ^ 表示开头 $ 表示结尾 . 表示任意字符 * 表示任意多个 / 做为转意,即通常在...

u010215845的博客 2万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

hivesql

语法: 分析函数over(partition by分组列 order by排序列rows between 开始位置 and 结束位置) 常用分析函数: 聚合类 avg()、sum()、max()、min() 排名类 row_number() 按照值排序时产生一个自增编号,不会重复 rank() 按照值排序时产生一个自增编号,值相等时会重复,会产生空位 dense_rank() 按照值排序时产生一个自增编号,值相等时会重复,不会产生空位 其他类 lag(列名,往...

weixin_48109576的博客 190

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

SQL、MySQL、Hive&Presto的使用区别ing

SQL、MySQL与HiveSQL的使用区别ing

Angelosyue 3276

Array类型(数组项操作和位置查找)

一. 复制数组1. concat()方法会创建新的副本操作并返回。 无参数时复制数组并返回副本 var colors = ["red","green","blue"]; var colors1 = colors.concat(); alert(colors1); //red,green,blue 有参数时将参数依次添加到数组末尾,参数可以是值或数组 var color

ZJY 1923

hivesql 匹配特殊转义字符

如果需要用like来匹配字符串中的特殊字符,eg.?, \ ,/。需要对其做转义,否则会当做正则表达被处理。 <span style="color:#000000"><code>hive> <span style="color:#000088 !important">select</span> channel <span style="color:#000088 !important">from</span> ...

Vulpes corsac 4549

HiveSQL的字符切分:substr与instr的完美结合

在sql查询中,诸如substr,left,right等字符切分函数的应用场景非常大,只需要指定字符,开始序位,结束序位就能很方便的切分得到我们想要的结果,但是对于数据序位不统一的,比如一个name字段里有%test1#,%test#,%fshkfjdshfkds#,我们想要两个%里的结果,只不过%的序位不是唯一的,就不能直接substr了 这时候就需要我们的强大函数instr,该函数是返回某字符在字符串里的序位,比如instr('test1','e') 则返回2 那么我们把substr与instr结合

神芷迦蓝寺 4387

HiveSQL正则表达式的应用[转]

最近工作中数据处理方面用到很多不是特别容易处理的数据,用正则表达式的话会让语句显得特别精简,也可以用各种字符串截取函数嵌套处理(必须要有一定规律),总结一下经常用到的几个。 1.正则的通配符简介 1)正则表达式的符号及意义 ^ 表示开头 $ 表示结尾 . 表示任意字符 * 表示任意多个 / 做为转意,即通常在"/"后面的字符不按原...

weixin_33895657的博客 155
上一篇: hiveSql冷门但好用函数 --持续更新
下一篇: hiveSql 重分组聚合问题
@nanami
博客等级 码龄9年 4247粉丝 53原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@nanami

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值