csncd的博客

hive分区分为静态分区和动态分区。顾名思义，静态分区需要手动去添加分区信息，而动态分区可根据已有的字段信息来自动实现分区信息。使用动态分区需要提前开启设置--设置动态分区set hive.exec.dynamic.partition=true;--设置动态分区为非严格模式set hive.exec.dynamic.partition.mode=nonstrict;创建一个分区表create table if not exists partition_table1( na

在我们使用hive进行解析JSON时，虽然有get_json_object函数进行解析，但是功能有限，无法对一个JSON数组进行解析。那么就需要我们自定义一个函数来将数组炸裂开，分成一个个JSON对象去解析。自定义一个类继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF重写 initialize，process方法需要注意的是输出forward必须是一个集合和数组，否则可能会出错。代码：package com.royal.hive.