hive & hue 中文乱码的问题

最新推荐文章于 2025-03-15 11:11:26 发布

原创最新推荐文章于 2025-03-15 11:11:26 发布 · 2.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hue集群 #hive #hadoop

大数据专栏收录该内容

1 篇文章

订阅专栏

本文档详细介绍了如何解决Hive与Hue在使用MySQL作为元数据库时出现的中文乱码问题。针对Hive，通过修改元数据库中的数据库和表的字符集为UTF8，解决了查询中文字符的乱码问题。对于Hue，同样调整了相关数据库的字符集，并在Hue服务器上修改默认编码。此外，提供了在Windows和Linux环境下配置文件的存放路径。

hive & hue 中文乱码的问题

我这里用的是MySQL做元数据库，建议用MySQL

#HIVE的乱码问题
在元数据库执行以下语句（进入mysql）：
use hive；
alter database hive character set latin1;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

flush privileges;

#HUE的窗口无法查询中文字符的问题：

在元数据库执行以下语句：
use hue；
alter database hue character set latin1;
alter table beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

ALTER TABLE desktop_document2 modify column name varchar(255) CHARACTER SET utf8;

ALTER TABLE desktop_document2 modify column description longtext CHARACTER SET utf8;

ALTER TABLE desktop_document2 modify column search longtext CHARACTER SET utf8;

flush privileges;

#在hue和hive服务器上做
#修改默认字符编码的代码：

vim sitecustomize.py
--------------------------------
#encoding=utf8
import sys

reload(sys)
sys.setdefaultencoding('utf8')
----------------------------------
1）windows windows上存放的地方还是比较简单的，存放在你python的安装的目录Lib\site-packages(比如C:\Python27\Lib\site-packages)里。 
2）linux linux上发现有两种情况
在/usr/local/lib/python.27/site-packages 里，如果你放在这里面没效果 就试试放到 /usr/lib/python2.7 里。 ubuntu最后发现存放的目录是后者