以Linux系统为例,解决hive中文注释(comment)乱码问题
问题:
创建表
查询中文注释显示乱码
解决办法
①检测
连接上hive的元数据库(以mysql为例),输入以下sql语句
show databases ;--查看mysql的库名称,选择hive3
use hive3 ;--元数据库一般为hive3
SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';
观察到character_set_server和collation_server是如下显示 :
②配置文件
找到hive元数据库MySQL的配置文件,Linux通常路径为'/etc/my.cnf' ,进入配置
[mysqld]
character-set-server=utf8mb4
③重启MySQL服务
systemctl restart mysqld
④检测变量
回到连接元数据库mysql的命令行,重新运行以下代码
SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';
会看到框起来的变量都变成utf8mb4
注: 如果只显示character更改可以在配置文件多配置一行
[mysqld]
character-set-server=utf8mb4
collation-server=utf8_general_ci
⑤更改设置
在hive3库下输入以下代码,改变元数据的存储编码格式为utf8
#修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
#修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
#修改分区参数,支持分区建用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;
#修改索引名注释,支持中文表示
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
⑥验证
旧表的编码格式以生成,刷新不会改变,可以选择删除旧表,重新创建表,再次查看表comment即可显示
desc formatted orders ;