yuxeaotao的博客

所以以下图中，中括号中的.，是被转义了，就表示.本身，中括号后面的.，表示任意单个字符。

hive中有两个函数可以用来计算分位数：percentile和percentile_approx具体使用方如下：（1）percentile：percentile(col, p)col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。（2）percentile_approx：percentile_approx(col, p)。列为数值类型都可以。percentile_approx还有一种形式percentile_approx(col, p, .

摘自Hive中rlike,like,not like，regexp区别与使用详解_涤生大数据的博客-优快云博客_rlike1.like的使用详解1.语法规则:格式是A like B,其中A是字符串，B是表达式，表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False.B只能使用简单匹配符号_和%，”_”表示任意单个字符，字符”%”表示任意数量的字符like的匹配是按字符逐一匹配的，使用B从A的第一个字符开始匹配，所.

1. 建表，包含2个分区CREATE TABLE temp_exp20211226_shutao_generalAndZs(src string,dst string) PARTITIONED BY (dt string,type string )row format delimited fields terminated by "\t"STORED AS orc;2. 设置参数--是否开启动态分区功能，默认false关闭。使用动态分区时候，该参数必须设置成true

--(1)建表create table cf_tmp.lst_work_wifi_test(wifi_name string,last_date string,wifi_imei_cnt int);--(2)插入数据insert into cf_tmp.lst_work_wifi_test values('fintell1107','20190430',30),('finte...

参考文章：阿里云 Select Transform语法 hive transform python主要解释：Select Transform功能允许指定启动一个子进程，将输入数据按照一定的格式通过stdin输入子进程，并且通过parse子进程的stdout输出来获取输出数据。能在不编写UDF的前提下实现MaxCompute SQL不具备的功能。最近的脚本涉及到的用法：...

1. 看一个hive表各个分区的内存大小#看表test.students的一级分区下的内存大小hadoop fs -du -h /user/hive/warehouse/test.db/students#看表test.students的二级分区下的内存大小（假设一级分区为data_date）hadoop fs -du -h /user/hive/warehouse/test.db/...

目前找到的解决办法是（这边感谢xiaoxiao~）：--先改fileformat为textfilealter table table_name set fileformat textfile;--再repalcealter table table_name repalce columns(col1 string,col2 string);--最后再改回来alter tab...

阅读文章：Hive之COUNT DISTINCT优化

select userid,level, time, first_value(time) OVER(PARTITION BY userid,level ORDER BY time) as firstTime, last_value(time) OVER(PARTITION BY userid,level ORDER BY time) as lastTime ...

本文主要参考文献：《Hive编程指南》 数据分析利器之hive优化十大原则 优化一：hive.auto.convert.join 数据分析系列（3）：数据倾斜1. limit 调整以语句快速出结果很多情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，用于对数据源进行抽样，从而避免执行整个查询语句。set hive.limi...

Hive 常用函数datediff(string enddate, string startdate) 返回int 的两个日期差 date_add(string startdate, int days) 日期加减 current_timestamp 和current_date 返回当前时间戳，当前日期 date_format(date/timestamp/string ts, stri...

（这边感谢yunheng）用beeline将数据导入表中，需要先将文件上传到hadoop，比如上传到tmp下：hadoop fs -put 路径/data.txt /tmp/然后进到beeline里面执行：load data inpath '/tmp/data.txt' overwrite into table 表名...

beeline --incremental=true -f test.sqlnohup beeline --incremental=true --showHeader=true -f bj_imei_grid_wifi.sql &(感谢xianling)

方法1: from_unixtime+ unix_timestamp--20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyyMMdd'),'yyyy-MM-dd') from dual;--2017-12-05转成20171205select from_unixtime(unix_times...

转载自http://lxw1234.com/archives/2015/04/176.htm ，为了方便学习，侵删。数据准备CREATE EXTERNAL TABLE lxw1234 (cookieid string,createtime string, --day pv INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ...

set hive.cli.print.header=true; 

转载自http://lxw1234.com/archives/2015/04/181.htm ，为了方便学习，侵删。数据准备cookie1,2015-04-10,1cookie1,2015-04-11,5cookie1,2015-04-12,7cookie1,2015-04-13,3cookie1,2015-04-14,2cookie1,2015-04-15,4cookie1...

转载自http://lxw1234.com/archives/2015/04/185.htm ，为了方便学习，侵删。数据准备d1,user1,1000d1,user2,2000d1,user3,3000d2,user4,4000d2,user5,5000 CREATE EXTERNAL TABLE lxw1234 (dept STRING,userid string,s...

1. 不能两个"("或者")"连着用2.Line 347:1 出现 Invalid table alias or column reference 'z_phone' ：（possible column names are：phone)除了找'z_phone' 还可以找后面possible column names这些列是在哪个表里，不要局限于前面的行数347附近3. 下次不知道...

hadoop fs -du -s -h /user/hive/warehouse/ronghui_mart.db/table_name/data_date=201811*

hive中regexp_extract的用法总结如：1）select regexp_extract('hitdecisiondlist','(i)(.*?)(e)',0) ;得到的结果为:itde2）select regexp_extract('hitdecisiondlist','(i)(.*?)(e)',1) ;得到的结果为:i3）select ...

Hive中，regexp_replace函数的第2个参数是正则表达式，第3个参数是字符串select split(regexp_replace(data,'\\},\\{','}||{'),'\\|\\|')[0]as test from (select '[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"...

select case when int(substr(time,1,2))<05 then 1when int(substr(time,1,2))>=05 and int(substr(time,1,2))<12 then 2when int(substr(time,1,2))>=12 and int(substr(time,1,2))<18 then 3...

以下摘自：regexp正则表达式：提取目标内容在hive环境中相关的函数有如下三个：regexp ：主要用在where子句中，用来选择内容 regexp_extract ：用在select 子句中，用来从目标内容中提取指定样式内容 regexp_replace ：用在select 子句中，用来将目标内容的特定部分替换成指定的内容1. regexpselect case w...

0. 如果原来的表里有分区最好先把分区删掉。    例如如果原来的表里有一个叫‘date’的分区，新灌入的数据里如果也有叫‘date’的分区，新数据灌入以后可能读不出来。--在hive中操作alter table table10_jin drop partition(tablename='alp',data_date='alp',part1='alp',part2='alp');1...