bsf5521的博客

前言：准备使用hive作数据仓库，因历史遗留问题，原先遗留的数据处理都是impala处理的，数据文件是parquet文件，因本身集群资源少，而处理的文件很大，准备使用hive离线分析将小文件推送到db或者impala进行展示操作。 准备：搭建cdh5.9，将原有的数据从一个集群迁移到现有的集群。对数据按照天进行动态分区，分区数据仍然使用parquet格式。 问题：因分区字段为timestamp

hive 元数据库用的是MySQL 创建表后，用desc 在hive中查看表信息，注释显示乱码。解决方案如下： 1 进入mysql ，执行 show create database hive 查看hive 数据库当前编码，如果是utf8 则执行下面sql alter database hive default character set latin1

一、行转列的使用 １、问题 hive如何将 a       b       1 a       b       2 a       b       3 c       d       4 c       d       5 c       d       6 变为： a       b       1,2,3 c  

Hive 建表： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT col_comment], ...)]    [COMMENT table_comment]    [PARTITIONED BY (col_name data_type [COMMENT col_co