
hive
文章平均质量分 54
雨田示韦非文
这个作者很懒,什么都没留下…
展开
-
hiveql列转行使用explode的注意事项-null值处理
一、订单表如下:order_id product_name 1 铅笔,苹果,抽纸 2 3 苹果,草莓,猕猴桃 二、统计每种商品被购买次数,需要将product_name列转行,其中order_id等于2的是异常数据product_name为null。如果写成下面这样,一条结果都没有:-- explode里面的字段不能为null,否则一条数据结果记录都没有了select product_name_element -- 产品名称...原创 2020-05-22 14:11:10 · 1319 阅读 · 2 评论 -
几种数据库的一些知识点 待续... ...
待续... ...原创 2018-07-03 14:18:46 · 249 阅读 · 0 评论 -
计算截止每个时间点的累计值
-- 计算每个公司每个月的累计值select t.year, t.month, companyid, companyname, sum(amount) over(partition by companyid, companyname,year order by t.month) amountfrom ( select t.year, t.month, ...原创 2018-07-03 11:04:36 · 4843 阅读 · 0 评论 -
hiveql--建表
一、创建hive表1、建外表(分区pdate,\t作为字段分隔符,hdfs路径:path):CREATE EXTERNAL TABLE tablename(字段1 string,字段2 string) partitioned by (pdate string)row format delimited fields terminated by '\t'LOCAT原创 2017-07-25 17:20:40 · 534 阅读 · 0 评论 -
hql-行列转换
行转列 hive -e ” select id,word from ( select ‘123’ as id,’java,c,php’ words from file_cto_user limit 1 ) ta lateral view explode(split(words,’,’)) uu原创 2017-07-25 18:32:19 · 970 阅读 · 0 评论 -
hive-组内排序取前100
每个mod按ck_num/exp_num倒序排序取前100 select ‘endweek′,′ckexp′ranktype,mod,groupid,bookid,expnum,cknumfrom(selectmod,(Rank(mod)+1)asrank,groupid,bookid,expnum,cknumfrom(selectmod,split(curl,′/′)[4]groupid,spl原创 2017-07-25 18:18:03 · 4720 阅读 · 0 评论 -
HIVE-文件操作
一、查询结果->hdfs INSERT OVERWRITE DIRECTORY ‘output’ sql select * from test; (output:结果输出hdfs路径,sql:查询语句,字段间隔符:默认)二、查询结果->hdfs,执行结果以‘\t’分割 insert overwrite directory ‘/home/wyp/Documents/result’ row f原创 2017-07-25 18:12:34 · 294 阅读 · 0 评论 -
hql-udf方法
一、添加jar包:add jar /data/1/usr/local/hive/jars/serde.jar;二、声明udf方法的引用:CREATE TEMPORARY FUNCTION expid AS 'net.csdn.hive.cf2.ExtractProduct2'接下来就可以在hql语句中使用expid方法了原创 2017-07-25 17:51:45 · 405 阅读 · 0 评论 -
hive-常用操作及函数
select '我们' from file_cto_user_info limit 1select 1 from file_cto_user_info where 'football' like 'foot____' limit 1--注意:否定比较时候用NOT A LIKE Bselect 1 from file_cto_user_info where NOT 'football'原创 2017-07-25 17:46:53 · 493 阅读 · 0 评论 -
hive函数使用学习笔记
1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语法。 SQL使用”=”,不使用”==”。A 所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为转载 2014-09-10 11:48:31 · 373 阅读 · 0 评论