
hive
tiny@ant
coding
展开
-
hive建hbase外部表,内部表的问题
对于4000个字符的配置单元存储区中的SERDE_PARAMS表中的PARAM_VALUE字段的字符限制是此问题的根本原因。此限制可防止Hive创建高列数的表,最终导致desc或select * from失败,并出现上述错误。解决方法:通过在配置单元Metastore中执行以下操作,可以解决此问题1、登陆hive metastore所在节点的mysql数据库;2、指定下面s原创 2017-11-17 11:07:00 · 3197 阅读 · 0 评论 -
Hive 自定义函数 UDF UDAF UDTF
一 什么是UDFUDF是UserDefined Function 用户自定义函数的缩写。Hive中除了原生提供的一些函数之外,如果还不能满足我们当前需求,我们可以自定义函数。除了UDF 之外,我们还可以定义聚合函数UDAF 和 Table-Generating函数 二 如何创建UDF函数2.1编写JAVA类,需要继承UDF类或者GenericUDF转载 2018-02-06 15:10:12 · 679 阅读 · 0 评论 -
hive表移动数据文件之后修复分区的问题
当对hive表进行数据迁移时,通常在目标集群或库先建立表结构,然后将数据文件copy过去。如果迁移的表有分区,需要在数据copy过去后对表分区进行修复,将分区信息添加到hive表的元数据信息中第一种情况:一层分区的情况 执行 MSCK REPAIR TABLE table_name;第二种情况:多层分区情况 执行 set hive.msck.path.validatio...原创 2018-04-17 19:25:49 · 4768 阅读 · 0 评论 -
Hive Beeline 命令行参数
The Beeline CLI 支持以下命令行参数: Option Description --autoCommit=[true/false] ---进入一个自动提交模式:beeline --autoCommit=true --autosave=[true/false] ---进入一个自动保存模式:beeline --autosave=true --color=[...转载 2018-05-03 14:42:05 · 14931 阅读 · 1 评论 -
Hive分区参数配置
Hive本身是不支持动态分区的..但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..?想要用动态分区要先做一些设置来修改默认的配置..set hive.exec.dynamic.partition=true;(可通过这个语句查看:set hive.exec.dynamic.partition;) set hive.exec.dyna...转载 2018-05-22 10:45:06 · 3028 阅读 · 0 评论 -
Hive on Spark功能目前只增加下面九个参数
Hive on Spark功能目前只增加下面九个参数,具体含义可以参见下面介绍。hive.spark.client.future.timeout Hive client请求Spark driver的超时时间,如果没有指定时间单位,默认就是秒。Expects a time value with unit (d/day, h/hour, m/min, s/sec, ms/msec, us/use...转载 2019-06-13 18:52:09 · 4170 阅读 · 4 评论