hive中文注释乱码解决方法

Solid_Fragility

已于 2024-11-05 15:20:02 修改

阅读量1.2k

点赞数 10

CC 4.0 BY-SA版权

文章标签： hive hadoop 数据仓库

于 2024-11-05 15:08:11 首次发布

本文链接：https://blog.youkuaiyun.com/Solid_Fragility/article/details/143508893

以Linux系统为例,解决hive中文注释(comment)乱码问题

问题:

创建表

查询中文注释显示乱码

解决办法

①检测

连接上hive的元数据库(以mysql为例),输入以下sql语句

show databases ;--查看mysql的库名称,选择hive3
use hive3 ;--元数据库一般为hive3
SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';

观察到character_set_server和collation_server是如下显示 :

②配置文件

找到hive元数据库MySQL的配置文件,Linux通常路径为'/etc/my.cnf' ,进入配置

[mysqld]
character-set-server=utf8mb4

③重启MySQL服务

systemctl restart mysqld

④检测变量

回到连接元数据库mysql的命令行,重新运行以下代码

SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';

会看到框起来的变量都变成utf8mb4

注: 如果只显示character更改可以在配置文件多配置一行

[mysqld]
character-set-server=utf8mb4
collation-server=utf8_general_ci

⑤更改设置

在hive3库下输入以下代码,改变元数据的存储编码格式为utf8

#修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
#修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;

#修改分区参数，支持分区建用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;

#修改索引名注释，支持中文表示
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

⑥验证

旧表的编码格式以生成,刷新不会改变,可以选择删除旧表,重新创建表,再次查看表comment即可显示

desc formatted orders ;