weixin_47699191的博客

原数据：bankid是array类型。

可以在两个字段集合同时炸裂后再关联商品维表取正确的数据。实际情况根据自己业务场景考虑。

hive array[bigint]转string

#!/bin/bashsource /etc/profileif [ -n "$2" ] ;then do_date=$2else do_date=`date -d "-1 day" +%F`fi# 创建人: xiaotao# 创建日期: Created on 2022-04-24# 数据开发功能描述: 兑换码兑换商品打卡数据（习惯熊打卡数据）ads_ks_redeem_code_df="set hive.exec.dynamic.partition=true;s

1. 符号 .sqlsplit(app_version, '\\.')[1]sparksqlsplit(app_version, '\\\\.')[1]

create table tmp( name string, class tinyint, cooperator_name string, score tinyint)row format delimited fields terminated by '|';adf|3|测试公司1|45asdf|3|测试公司2|55cfe|2|测试公司2|743dd|3|测试公司5|nfda|1|测试公司7|80gds|2|测试公司9|92ffd|1|测试公司10|95dss

用户信息表select * from b;+-------+---------+--+| b.id | b.name |+-------+---------+--+| 1 | 张三 || 2 | 李四 || 3 | 赵六 |+-------+---------+--+用户爱好记录表select * from c;+-------+----------+--+| c.id | c.aihao |+-------+----

1.一行转多行--数据vi test.txta b 1,2,3c d 4,5,6-- 建表create table test(col1 string,col2 string,col3 string)comment'一行转多行测试表'row format delimited fields terminated by '\t'stored as textfile;-- 加载数据load data local inpath '/root/col_to_row.tx

数据准备-- 测试表select * from test;+--------------+--------------+--------------+--+| test.field1 | test.field2 | test.field3 |+--------------+--------------+--------------+--+| 1 | 6 | 14 || 2 | 3

1.数据准备测试表create table test( field1 int, field2 int, field3 int)comment'小文件合并及排序测试表';数据insert into table test values(1,6,14);insert into table test values(2,3,4);insert into table test values(6,2,6);insert into table test values(1,3,2

-- json数据{"OTHER_INFO":{"MOBILE_ADDR":"四川省内江市潘咱陛路1233号闷羞小区19单元484室","DATA2":{"CERT_ADDR":"宁夏回族自治区固原市薄精路3992号裸糕氏小区9单元1092室"},"DATA1":{"MOBILE_NUM":"15360425546"},"MOBILE_NUM":"15902875723"},"APP_NO":"RVVG5252500393","CHANNEL_SOURCE":"微信","BUSINESS_CODE":"T

一.join操作数据倾斜1.mapjoinmap join 默认开启set hive.auto.convert.join = true（0.11版本后默认是true）set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M）不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join,没有reduce阶段,没有shuffle2.类型不一致关联字段不一致引发的数据倾斜操作有一个a表关联字段是

hive map joinmap join 默认开启不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行joina 大表user_id oid0001,B0001,A0002,C0003,D0001,E0001,F0004,W0001,Zb 小表user_id name0001,王0002,刘0003,赵0004,高sqlselecta.user_id,a.oid,b.namefrom ajoin bon a.u

--源表name,subjectid,age,score张三,0001,22,45张三,0002,22,56李四,0002,18,88赵五,0002,24,66--目标表 (科目0001没有成绩的学生name和age)name,age李四,18赵五,24create table score_t(name string,subjectid string,age string,score string)ROW FORMAT DELIMITEDFIELDS TERMINATE

--源表:name,sport张三,足球张三,篮球张三,排球李四,排球李四,足球赵五,排球顺序 篮球,足球,排球--目标:name,sport张三,篮球李四,足球赵五,排球create table sport_tab(name string comment'姓名',sport string comment'体育项目')ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','--计算:selectname,casewhen

源表:省,省id,市,市id,区,区id目标表:地区,地区id,上层地区id省,省id,null市,市id,省id区,区id,市id一:selectif(`省id` is null,`区`,if(`市id` is null,`省`,`市`)) as `地区`,if(`省id` is null,`区id`,if(`市id` is null,`省id`,`市id`)) as `地区id`,if(`省id` is null,`市id`,if(`市id` is null,0,`省id`)

既反映了数据历史状态,又比较节省空间适用于数据量比较大，而且会不断增长（典型：订单表）表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等;变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费;.

hive简单查询没有问题0: jdbc:hive2://wxt01:10000> select * from `user`;OK+------------+----------------------+--+| user.guid | user.dt |+------------+----------------------+--+| zhangsang | 2020-03-01 11:32:22 || zhangsang | 2020-03-02 1

1.求出连续活跃用户,连续活跃天数以及连续活跃用户的平均年龄源表:guidagetime0001182021-02-250002222021-02-250002222021-02-26…计算:with o as(selectuid,max(days) as days,max(age) as agefrom( select uid, age, days from ( select uid,

hive 动态分区按照某个字段自动的将数据加载到指定的分区中即在插入数据时，不指定具体的分区列值，而是仅仅指定分区字段1.建临时表create table demo(id int,birthday string,cost int)row format delimited fields terminated by '\t';2.加载数据load data local inpath '/root/demo' into table demo;3.数据1 2010-11-12 120

找出连续两个或者两个以上是空座位的seat_id.表:cinemaseat_idfree1120314151对于如上样例，你的查询语句应该返回如下结果。seat_id345注意：seat_id 字段是一个自增的整数，free 字段值（‘1’ 表示空余， ‘0’ 表示已被占据）。连续空余座位的定义是大于等于 2 个连续空余的座位sql:selectseat_idfrom( selec

一.a,b两hive表结构如下,基于hivesql回答下述问题:解答1题:selectif(a.key = b.key,concat(a.key,',',b.key),if(a.key is null,b.key,a.key)) as key,a.value,b.valuefrom a full join bon a.key = b.key;数据+------+----------+----------+--+| key | a.value | b.value |+---

hive数据倾斜1. join时产生数据倾斜1.1 小表join大表使用mapjoin1.2 大表join大表1.2.1 key为空值造成的影响空值太多join时,会把所有key为空值的数据发送到同一个reduce中,发生数据倾斜解决方法:空值不重要的情况,先把空值过滤掉,在进行join空值不能过滤,使用case when 对空值附上随机值,然后进行join,这样会把所有key为空值的数据发送到不同的reduce中去处理.1.2.2 热点key可以将热点数据和非热点数据分别进行处理

join分为mapjoin 和 common(普通) joinmapjoin 就是没有reduce阶段,只有map阶段,在map阶段进行join操作.common join 是在reduce阶段进行join操作.以common join为例:表a:idname1小王2小张表b:idage132222select a.id,name,age from a join b on a.id=b.id;...

hive架构1.用户接口 ClientCLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）2.元数据 Metastore用来存储hive的元数据使用关系型数据库来存储元数据,默认存储在自带的derby数据库中,推荐使用mysql存储Metastorehive的元数据包括:表名, 表所属数据库, 表的拥有者, 表的列, 表的分区, 表的属性(表是内部表还是外部表), 以及表数据所在的目录3.Hadoop使用hdfs进行存储,使用mapr

1.行转列(将多行数据合并成一列)1.1源表person_info:nameconstellationblood_type张三白羊座A李四射手座A王五白羊座B赵六白羊座A刘七射手座A1.2需求:把星座和血型一样的人归类到一起,如下表:cbtname射手,A李四,刘七白羊,A张三,赵六白羊,B王五1.3函数:concat(字段1,分割符,字段2) --将一行的多个字符串合并成一个字符串

给定订单表 sale_orderidsale_dtuser_idsku_idsale_countpriceamount12019-01-0111001210020022019-01-0221001110010032019-02-103100128016042019-02-1121002210020052019-03-0131002110010062019-03-01310011

1.UDF(一对一)在idea中创建一个maven工程,然后导入依赖:<dependencies><!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --><dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId>