【hive 运维】hive注释/数据支持中文

最新推荐文章于 2024-12-29 06:23:12 发布

roman_日积跬步-终至千里

最新推荐文章于 2024-12-29 06:23:12 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： # hive 文章标签： hive 运维 hadoop

本文链接：https://blog.youkuaiyun.com/hiliang521/article/details/132020277

hive 专栏收录该内容

15 篇文章

订阅专栏

文章介绍了如何使Hive支持中文，包括在MySQL中修改hive库的表设置以支持UTF-8字符集，以及在hive-site.xml中配置连接URL以确保元数据存储时使用UTF-8编码。测试部分展示了创建和插入含中文列的表的操作，以及遇到的问题和错误示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hive支持中文需要关注两个方面：

设置hive 元数据库中的一些表
设置hive-site.xml.

一. 设置mysql中的hive库

use hivedb;
alter table  TBLS  modify column TBL_NAME  varchar(1000) character set utf8;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;

二. hive-site.xml 设置

由于Hive元数据（表的属性、字段定义等）都是存储在Mysql中，所以在mysql连接中设置支持中文
characterEncoding=UTF-8

具体的在hive-site.xml中：

  <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://ip:3306/hivedb?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
     <description>JDBC connect string for a JDBC metastore</description>
  </property>
  
   <property>
    <name>hive.metastore.readonly.ConnectionURL</name>
    <value>jdbc:mysql://ip:3306/hivedb?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
 </property>

三. 测试

重启hive-server

jps
kill -9 hive_server_pid
nohup ./hive --service hiveserver2 >> /tmp/hiveserver2.log 2>&1

建表

create table if not exists studentno 
(stuno string comment '学号', stuname1 string comment '姓名') comment '学生信息表'; 

hive> show create table  studentno;
OK
CREATE TABLE `studentno`(
  `stuno` string COMMENT '学号',
  `stuname1` string COMMENT '姓名')
COMMENT '学生信息表'
。。。
Time taken: 0.059 seconds, Fetched: 15 row(s)

插入数据

insert into studentno values('一号','gao1');  

hive> select * from studentno;
OK
一号    gao1

注：含有中文列的表（报错）

create table student(`学号` string comment '学号', 
`姓名` string comment '姓名') comment '学生信息表';


FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
 MetaException(message:Add request failed : INSERT INTO `COLUMNS_V2` 
 (`CD_ID`,`COMMENT`,`COLUMN_NAME`,`TYPE_NAME`,`INTEGER_IDX`) VALUES (?,?,?,?,?) )