Hive MetaStore 配置说明

最新推荐文章于 2024-07-08 16:13:42 发布

原创

最新推荐文章于 2024-07-08 16:13:42 发布 · 527 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了在Hive中创建数据库和表时遇到的中文乱码问题，并提供了解决方案。通过修改MetaStore数据库中相关字段的字符编码为utf-8，如表字段注解、表注解、分区字段注解和数据库注解，可以有效解决乱码问题。同时，文章提到了MySQL授权和元数据库创建的注意事项。

/*
Hive中创建数据库
*/
CREATE DATABASE IF NOT EXISTS db_0508
COMMENT '用于20180508测试使用'
WITH DBPROPERTIES ('user_name'='轩宇') ;

/*
为了解决Hive中创建表的时候，注解等中文显示的乱码问题，需要设置MetaStore DataBase中某些字段的字符编码为utf-8
*/
CREATE TABLE u_data (
userid INT COMMENT '用户ID',
movieid INT COMMENT '电影ID',
rating INT COMMENT '用户对电影的评分',
unixtime STRING COMMENT '评分的时间，长整型格式'
)
COMMENT 'MovieLens提供的电影评分数据表，用于后期推荐系统算法练习使用'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

-- Hive MetaStore 配置说明

-- 1. MySQL 授权
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION ;
FLUSH PRIVILEGES ;

-- 2. 建议先建元数据库, 设置编码为 latin1.
-- 如果后期, 再去修改会出问题, 如
-- drop table 无反应, create table 字段太长等