大数据同盟会的博客

Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量

insert overwrite table t_finance_tax_bill partition (importdate='20220218')select bill_id , apply_emp_id , bill_type_name , apply_emp_name , reimbursement_name , bill_apply_date

报错信息：产生原因mr将数据量小的表识别成了大表，数据量大的识别成小表，导致将数据量大的表加入到内存，导致程序异常.解决办法set hive.execution.engine=mr;set hive.mapjoin.smalltable.filesize=55000000;set hive.auto.convert.join = false; #取消小表加载至内存中...

Hive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair table

1、使用分区表和分桶表2、使用count(1)，不使用count(*)3、指定明确字段，不使用select * from emp4、使用特殊的存储格式 列式存储： orc parquet5、小表 join 大表，避免笛卡尔积6、开启map端聚合，默认是打开的7、避免 count (distinct 字段)8、适当调整maptask和reducetask个数9、测试数据时，使用本地模式set mapreduce.framework.name=yarn(默认)set mapr

一、同比与上年度同月数据对比称"同比"，与上月数据对比称"环比"同比的话，如果每个月都齐全，都有数据lag(num,12)就可以了，空值的话，使用lag()函数的第三个参数。 select t2.index_name,t2.new_index_code,t2.now_value,t2.update_time, lag (t2.now_value, 12, 0) over (ORDER BY t2.update_time) AS last_num

大数据之Hive

Hive分桶

1、把固定日期转换成时间戳select unix_timestamp('2020-05-29','yyyy-MM-dd') --返回结果 1590681600select unix_timestamp('20200529','yyyyMMdd') --返回结果 1590681600select unix_timestamp('2020-05-29T13:12:23Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") --返回结果 1590729143select unix_time