SW_LCC的博客

升级hadoop集群后，跑hive sql发现任务一直报错跑不了。在hive的cli界面执行sql，提示错误ERROR: FAILED: Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask查看详细的日志，发现该job分发到4个节点执行，其中都报相同的错误，提示类似:Current usage: 1GB of 1 GB physical memory used; 2.5 GB of 1.1 G

修改hive表属性用如下格式：alter table tablename set serdeproperties(‘属性名’=‘属性值’);表名为tablename如修改hive表的map分隔符属性为 ‘:’ :alter table table1 set serdeproperties(‘mapkey.delim’=’:’);...

最近使用hive的时候发现，当修改已存在的表，添加另外的列，然后插入数据，发现新插入的数据中，里面的新列数据皆为NULL。（当前hive版本为2.1.0)查了一下资料，发现hive的元数据表SDS中，该表的CD_ID值为旧值，在更新表结构后该CD_ID有改动。解决办法：1.如果要解决这个问题，可以手动的修改SDS表中该数据表对应的CD_ID值。2.可以手动的给该表的分区加上新增的列,如:...

情况描述hive版本为: apache-hive-2.1.0hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3修改添加两个字段删除一个字段，但跟日志文件数据是一一对应的。发现修改后，在hive中用mapreduce查询这两个新加的字段，值为null。而用hive中用spark引擎却可以找到字段的值。hive修改字段通过alert table table...

row_numbter()报错：window function row_number() requires window to be ordered。row_number()后需跟order by column。加上排序字段即可。

Hive基本数据类型Hive支持的基本数据类型有:TINKYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGTIMESTAMPHive集合数据类型STRUCTMAPARRAYHive数据类型转换hive执行隐形转换，比如查询一张表的某个字段SMALLINT类型的数据，插入另一张表的INT类型的字段，那么这个过程是可以隐式转换的...

Hive权限管理Hive在0.7.0以后的添加了授权功能，权限类型名称描述ALL赋予所有权限ALTER修改表结构CREATE创建表权限DROP删除表或分区的权限INDEX创建索引LOCK并发后，锁定和解锁表的权限SELECT查询表或分区数据权限SHOW_DATABASE查看所有数据库的权限UPDATE给表或...

Hive执行异常(1)执行报错如果是mr报错，那么就先看是否缺少了HADOOP_CONF_DIR并检查hadoop-mapreduce-client-core-2.6.0,及hadoop-mapreduce-client-common-2.6.0.jar是否正确添加若tez报错，查看是否在hive-site.xml中添加了hive-execution-engine，value为tez.并...

Hive分桶Hive中的每一个表，每一个分区都可以进行分桶，表或者分区实际上是以文件的形式在hdfs上存储，而分桶物理上相当于将一个文件分成几个文件进行存储，分桶用于大规模数据集。分桶的使用1.建表时设置分桶create table student_bucket(id INT, name STRING, age INT)clustered by (age) into 4 buckets...

Hive动态分区的使用动态分区可以即时给表添加分区，不用通过修改sql实现。允许在插入的时候指定分区，分区字段为插入时字段的位置决定。例如：FROM page_view_stg pvsINSERT OVERWRITE TABLE page_view PARTITION(dt='2008-06-08', country) SELECT pvs.viewTime, pvs.us...