hive中文注释乱码解决方案

最新推荐文章于 2025-10-10 19:29:19 发布

原创最新推荐文章于 2025-10-10 19:29:19 发布 · 477 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #hive

Hive自定义函数专栏收录该内容

2 篇文章

订阅专栏

本文档提供了在Hive客户端中遇到中文注释乱码的解决方案。首先，通过MySQL SQL语句修改COLUMNS_V2、TABLE_PARAMS、PARTITION_PARAMS、PARTITION_KEYS和INDEX_PARAMS等表的字符集为UTF-8，确保字段和注释支持中文。其次，更新hive-site.xml配置文件，将Hive读取元数据的编码设置为UTF-8，并在JDBC连接URL中指定useSSL=false和serverTimezone=GMT%2B8。这些步骤可以确保Hive正确处理中文注释和元数据。

在Hive客户端中创建的表包含中文注释乱码解决方案

一、因为Hive元数据存储在Mysql数据库中，MySQL库执行以下SQL：

（desc表名可看见不能正常显示中文，所以需要执行一次下列语句后再创建各张表）

#修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
#修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
#修改分区参数，支持分区建用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;
#修改索引名注释，支持中文表示
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
#修改视图，支持视图中文
ALTER TABLE TBLS modify COLUMN VIEW_EXPANDED_TEXT mediumtext CHARACTER SET utf8;
ALTER TABLE TBLS modify COLUMN VIEW_ORIGINAL_TEXT mediumtext CHARACTER SET utf8;

二、修改hive-site.xml中Hive读取元数据的编码

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop103:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>

三、JDBC设置链接URL的问题

dbc:mysql://hadoop102:3306/gmall?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8

gmall是连接的数据库名称，如果连接元数据库，则应为metastore
对高版本MySQL需要显示地指明是否使用SSL连接，不设置就会报错，所以需要加上useSSL参数，可设为true或者false，在这里设置false
在.xml配置文件中配置数据库URL时，要使用&的转义字符也就是 & amp;，即得把&改成 & amp;，如下

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop103:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false&amp;serverTimezone=GMT%2B8</value>
</property>