
hive
AA赵师傅
人家只是个小职员啦,工作多,没提成。别人休假我加班。房贷没还清,保险自己买,不过好在我不用交停车费,因为我根本买不起车。
展开
-
HIVE使用regexp_replace替换string特殊字符
HIVE使用regexp_replace替换string特殊字符原创 2022-08-05 09:59:40 · 3794 阅读 · 0 评论 -
hive对数据进行随机取样
hive对数据进行随机取样。原创 2022-07-26 18:10:51 · 491 阅读 · 0 评论 -
HIVE数据导入ES并避免字段空值占用空间
详细介绍hive数据导入es的两种不同方案原创 2022-07-20 22:24:51 · 1774 阅读 · 0 评论 -
用户连续登陆(允许中断)查询sql
selectuser_id,max(days)from ( select user_id, f, count(1) days from ( select user_id, login_time, sum(if(flag > 2 , 1, 0)) over (par...原创 2022-05-05 16:32:13 · 300 阅读 · 0 评论 -
按照日期进行累加sql
样例数据:uid,dt,cntguid01,2018-02-28,1guid01,2018-03-01,2guid01,2018-03-02,2guid01,2018-03-04,0guid01,2018-03-05,0guid01,2018-03-06,2guid01,2018-03-07,3guid02,2018-03-01,4guid02,2018-03-02,1guid02,2018-03-03,0guid02,2018-03-06,2结果要求:对用户每天金额进行累加,原创 2021-02-23 20:51:57 · 5072 阅读 · 0 评论 -
sql实现连续登陆7天以上用户统计
测试数据:用户ID、登入日期uid,dtguid01,2018-02-28guid01,2018-03-01guid01,2018-03-02guid01,2018-03-04guid01,2018-03-05guid01,2018-03-06guid01,2018-03-07guid02,2018-03-01guid02,2018-03-02guid02,2018-03-03guid02,2018-03-06步骤:*操作步骤: * 1、我将用户分组,日期排序【升序】打上标原创 2021-02-23 20:31:14 · 3043 阅读 · 0 评论 -
hive解析json格式数据
get_json_object函数使用1)数据xjson[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2)取出第一个json对象select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[0]');结果是:{"name":"大郎","sex":"男".原创 2021-02-02 20:56:41 · 1312 阅读 · 0 评论 -
hive多行转为一列,按指定分隔符分割
表:user_spuser_id serial_number SP_product_name A1 110 彩铃 A2 112 漏话提醒 A1 110 早间新闻 A2 112 天气预报 把用户订购所有SP_product_name汇总,并以","进行分割select USER_ID,SERIAL_NUMBER,concat_ws(',',collect_list(SP_PRODUCT_NAME)) as PRODUCT原创 2020-11-20 15:20:39 · 1246 阅读 · 0 评论 -
hive字段拆分为多行或多列
数据为Array数据源:1 子宫病损切除术,经宫腔镜|扩张和刮宫术,诊断性2 胫骨内固定装置去除术|腓骨内固定装置去除术3 腰椎穿刺术|腰椎穿刺术|腰椎穿刺术创建语句Create table testArray(name string, ssmc array<string> ) row format delimited fields terminated by '\t' collection items terminated by '|';--拆分为多行:...原创 2020-11-20 15:23:14 · 9922 阅读 · 0 评论 -
regexp_extract函数
regexp_extract(字符串, 正则表达式, 返回格式) 返回格式0 返回全部字符串正则表达式解析函数。 功能强大提取字母的正则表达式:([0-9]+)提取数字的正则表达式:([a-z]+)提取中文的正则表达式:([啊-龥]+)select regexp_extract('wde我的qw','[啊-龥]+',0) 我的这个...原创 2019-06-04 16:45:52 · 9216 阅读 · 0 评论 -
hive执行报错解决
Error during job, obtaining debugging information...Examining task ID: task_1524216872104_86828_m_000001 (and more) from job job_1524216872104_86828Examining task ID: task_1524216872104_86828_m_0000...原创 2018-07-03 14:43:36 · 4065 阅读 · 0 评论 -
hive集群中间(临时)表定时清理shell脚本
在使用hive集群的过程中,经常会生成一些一次性使用的中间表,这种中间表的使用率不高,而已可以再次生成,但大量的中间表会占用很多的集群存储资源,下面我教大家写一个定时清理hive集群中间表的shell脚本,但中间表必须有固定格式,例如:博主的集群中间表全是vra开头,并且中间含有res,并以tmp结尾。那么该脚本如下:#!/bin/bash#######hive集群中间表定时清理脚本##...原创 2018-06-05 10:04:59 · 1993 阅读 · 0 评论 -
hive常用函数大全
一、关系运算:1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: <> 语法: A &...原创 2018-05-22 11:21:25 · 388 阅读 · 0 评论