风逍遥-ygq

hive内置函数查看系统内置函数：show functions;显示函数用法 eg：desc function upper;详细显示函数用法 eg：desc function extended upper常用函数：

hive优化数据倾斜　　数据倾斜是指在进行数据计算的时候，因为数据的分散度不够，导致大量数据集中到一台或几台服务器上计算，而这些数据的计算速度远远低于数据计算的平均速度，进而导致整个数据计算速度变慢。开发基本原则　　尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。　　eg:select ... from Ajoin Bon A.userid = B.useridwhereA.userid>100and B.userid&l

hive语句的执行顺序hive语句的执行顺序：fromonjoinwheregroup byhavingselectdistinctdistribute by /cluster bysort byorder bylimitunion /union all

hive内部表和外部表的区别区别关键字：　　　　　　内部表：　　　　　　　外部表：create/load　　　　　数据移到仓库目录　　　数据不移动drop　　　　　　　　元数据和数据都删除　　只删元数据查询表的类型desc formatted tableName;修改内部表为外部表alter table tableName set tblproperties('EXTERNAL'='TRUE');修改外部表为内部表alter table tableName set tbl

hive 分组top N案例01获取历史数据中每个用户最近时间的一条数据select itcode, timefrom (select itoode, time, row_number() over(partion by itcode order by time desc) rn from tb_his )where ...

Hive 常用的UDF有一下三种：1.1 UDF       一条记录使用函数后输出事宜一条记录，eg：lower/substr1.2 UDAF（User Defined Aggregation Funcation）       多条记录使用函数后输...

hive的查询注意事项以及优化总结 .Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ... fr...

with price_group_01 as(select partner_id, collect_set(pgd) as pgd_setfrom (select distinct partner_id, concat(division,'-',price_group_description) as pgd from ccsd.tb_cpp_et...

selectcase when pmod(datediff(local_time,'2018-01-01') + 1,7) = 1 then 'Monday' when pmod(datediff(local_time,'2018-01-01') + 1,7) = 2 then 'Tuesday' when pmod(datediff(local_time,'2018-01-01') +...

import org.apache.commons.lang3.CharEncoding;import org.apache.commons.lang3.CharUtils;import org.apache.hadoop.hive.ql.exec.UDF;import java.net.URLEncoder;import java.nio.charset.StandardCharset...

select date_format(from_utc_timestamp(to_utc_timestamp("中国北京时间",'GMT+8'),"要转化地方的GMT"),'yyyy-MM-dd HH:mm:ss') as local_timefrom ccsd.tb_name