qq_36470475的博客

hive 存储格式对比

hql默认是需要转成mapreduce任务去执行的，但是一些场景启动mapreduce，比较消耗资源而且时间很慢，所以hive对于查询做了优化，有些查询是可以不启动mapredce去执行的，即按照fetch task 的方式去执行，实际上就是单进程的文件处理，输出结果在hive-site.xml中有三个fetch task相关的值，也可以在客户端直接执行 set …hive.fetch.task.conversionhive.fetch.task.conversion.threshold #在输入大小

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component name limit of job_1593052953461_11181364-1605859463298-data%2Dplatform-insert+into+table+con...%2C.

默认的分隔符：hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用fields terminated by ‘\001’,如果要测试的话，造数据在vi 打开文件里面，用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序，\002的输入方式为ctrl+v,ctrl+b。以此类推。指定特定的特殊符号作为分隔符：CREATE TABLE test(id int, name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY

set mapred.job.queue.name=queue1; 老版本set mapred.queue.names=queue1; 老版本SET mapreduce.job.queuename=queue31; 新版本mapreduce指定对列名称-Dmapreduce.job.queuename=queue1

1报错- Failed with exception Unable to alter partition. Put request failed : UPDATE `PARTITION_PARAMS` SET `PARAM_VALUE` = ? WHERE `PART_ID`=? AND `PARAM_KEY`=? INFO - FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Una

package com.**.udf;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;import org.apache.hadoop.hive.ql.metadata.HiveExcepti...

orc存储的表默认保存文件数和文件大小，textfile存储的保存数据条数 select * from TBLS where TBL_NAME='tablename'; select * from TABLE_PARAMS where TBL_ID='111'; select * from PARTITIONS where tbl_id=111;select * from PARTI...

｀｀｀set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions.pernode=10000;set hive.exec.max.dynamic.partitions=10000;set hive.exec....

set hive.merge.mapfiles=true;set hive.merge.mapredfiles=true;set hive.merge.orcfile.stripe.level=true;set hive.merge.size.per.task=256000000;set hive.merge.smallfiles.avgsize=256000000;set mapred...

1、array():将两列合并为一列 如 将a字段 和b字段 合并为 c字段hive> select array(a,b) from temp.xxxx;OK[“aa”,“aa”][“aa”,“cc”][“aa”,“bb”][“bb”,“33”][“bb”,“11”]2、collect_list():根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符’,’不去重,无...

MSCK REPAIR TABLE table_name;hive 根据文件添加分区

sqoop抽过来的表有换行符，导致使用hive的时候去重有问题

存储1、将json数据以string 方式存储在hive 中，然后比如使用LATERAL VIEW json_tuple的方法，获取所需要的列名，或者 get_json_object(json,’$.id’) 的方式获取数据。2、底层用json的方式存储下载Jar使用之前先下载jar：http://www.congiu.net/hive-json-serde/如果要想在Hive中使用J...