Spark on hive 及hive中文注释乱码问题

原创已于 2023-02-19 19:25:24 修改 · 648 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#hive #spark #大数据

于 2023-02-13 18:33:58 首次发布

Spark踩坑合集专栏收录该内容

3 篇文章

订阅专栏

首先关闭hive-metastore和thrift

第一步修改spark和hive的conf目录下的hive-site.xml

修改对应属性为以下内容,节点地址要写你自己的

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node1.itcast.cn:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property>

第二部进入mysql

进入hive元数据库,修改编码格式,默认为latin1

只需要修改以下几个表的几个字段就行

use hive;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

然后重启metastore和thrift,最好mysql也重启一下