Hive 注解中文乱码问题解决

最新推荐文章于 2024-01-12 00:22:59 发布

孙文旭

最新推荐文章于 2024-01-12 00:22:59 发布

阅读量183

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hive

本文链接：https://blog.youkuaiyun.com/qq_35495339/article/details/95625155

Hive 专栏收录该内容

23 篇文章

订阅专栏

博客聚焦于 Hive 注解中文乱码问题的解决。在信息技术领域，Hive 应用中中文乱码会影响数据处理和分析。此博客旨在提供解决该问题的方法，保障 Hive 正常使用。

/*
	Hive中创建数据库
*/
CREATE DATABASE IF NOT EXISTS db_05555 
COMMENT '用于20180508测试使用'

/**
查看数据详情
*/
desc database db_05555;

/*
	为了解决Hive中创建表的时候，注解等中文显示的乱码问题，需要设置MetaStore DataBase中某些字段的字符编码为utf-8 
*/
CREATE TABLE u_data (
  userid INT COMMENT '用户ID',
  movieid INT COMMENT '电影ID',
  rating INT COMMENT '用户对电影的评分',
  unixtime STRING COMMENT '评分的时间，长整型格式'
 )
COMMENT 'MovieLens提供的电影评分数据表，用于后期推荐系统算法练习使用'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;


-- Hive MetaStore 配置说明

-- 1. MySQL 授权
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION ;
FLUSH PRIVILEGES ;

-- 2. 建议先建元数据库, 设置编码为 latin1. 
-- 如果后期, 再去修改会出问题, 如
--   drop table 无反应, create table 字段太长等 


-- 3. 创建表 字段描述中文乱码等 解决方案
-- a. 修改表字段 注解 和 表 注解
ALTER TABLE COLUMNS_V2 MODIFY COLUMN COMMENT varchar(256) character set utf8 ;
ALTER TABLE TABLE_PARAMS MODIFY COLUMN PARAM_VALUE varchar(4000) character set utf8 ;
-- b. 修改分区字段注解
ALTER TABLE PARTITION_PARAMS MODIFY COLUMN PARAM_VALUE varchar(4000) character set utf8 ;
ALTER TABLE PARTITION_KEYS MODIFY COLUMN PKEY_COMMENT varchar(4000) character set utf8 ;
-- c. 修改索引注解
-- ALTER TABLE INDEX_PARAMS MODIFY COLUMN PARAM_VALUE varchar(4000) character set utf8 ;

-- 修改 数据库 注解
ALTER TABLE DBS MODIFY CN `DESC` varchar(4000) character set utf8 ;


jdbc:mysql://bigdata-hpsk01.huadian.com/metaStore_cdh?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8