hive metastore为MySQL时的中文乱码问题

最新推荐文章于 2024-07-09 16:19:28 发布
最新推荐文章于 2024-07-09 16:19:28 发布
阅读量761 收藏 1
点赞数
分类专栏： # hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fish2009122/article/details/105437920
版权

问题一

  • 当hive的metastore为MySQL时，数据库及表编码都必须是latin1(CHARACTER SET latin1 COLLATE latin1_bin)，否则会有出现报错

    • Latin1的好处：Latin1编码范围使用了单字节内的所有空间，在支持Latin1编码的系统中传输和存储其他任何编码的字节流都不会被抛弃。换言之，把其他任何编码的字节流当作Latin1编码看待都没有问题

  • 中文在Latin1下乱码，表现为?

解决方法

  • 修改/etc/my.cnf，文件中增加如下内容

    [client]
default-character-set=utf8

[mysql]
default-character-set=utf8

[mysqld]
collation-server &
最低0.47元/天 解锁文章
【HIVE】hive中解决中文乱码问题
sofeld的博客
07-12 1714
问题详情： 为了解决 Hive 中创建表的时候，注解等中文显示的乱码问题 需要设置 MetaStore DataBase 中某些字段的字符编码为 utf-8 Hive MetaStore 配置说明 MySQL 授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION ; FL...
Hive MetaStore 配置说明
SunlessAbyss的博客
06-19 406
/* Hive中创建数据库*/CREATE DATABASE IF NOT EXISTS db_0508 COMMENT '用于20180508测试使用'WITH DBPROPERTIES ('user_name'='轩宇') ;/* 为了解决Hive中创建表的时候，注解等中文显示的乱码问题，需要设置MetaStore DataBase中某些字段的字符编码为utf-8 */CREATE TABLE...
解决hive中文乱码
chimchim66的博客
07-08 718
问题： 建表时发现hive建表语句有中文乱码的现象 定位： hive的元数据都是存储在mysql上维护的。 可以修改hive元数据的字符集为utf-8. 解决方案： 1.修改hive-site.xml配置文件的参数内容 set jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true; 注意：hive的元数据metastore在mysql的数据库,不管是数据库本身,还是里面的表编码都必须是latin1(CHARACTER SET lat
【解决】Hive 使用 mysql 作为 metastore 元数据库时UTF-8编码的问题
weixin_34248849的博客
01-16 543
2019独角兽企业重金招聘Python工程师标准>>> ...
hive mysql 编码问题
红叶的博客
11-17 433
在安装Hive时，经常报异常。 后来采用输出日志的方式来开启hive：hive -hiveconf hive.root.logger=DEBUG,console 这样在执行命令时，就会输出日志，出现异常可以很快定位。 ERROR DataNucleus.Datastore: Error thrown executing CREATE TABLE SD_PARAMS ( SD_ID BIGINT NOT NULL, PARAM_KEY VARCHAR(256) BINARY NOT NULL, PARAM_V
hive中文注释乱码解决方案
不爱吃鱼的馋猫
10-30 605
hive元数据metastore默认的字符集是latin1，所以中文注释会乱码，但是不能将metastore库的字符集更改为utf-8，只能对特定表、特定列修改为utf-8。 ①在Hive元数据存储的Mysql数据库中，执行以下SQL： #修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; #修改表注释字符集 alter table TABLE_PARAMS modify column
Hive metastore 元数据mysql库中文乱码
qq_43750656的博客
04-30 187
例如我们要查询某个表的数据，mysql会先去看这个表的数据用的什么编码规则,例如GBK，然后再根据这个编码规则解析成字符串，再把这个字符串用 character_set_results 指定的参数去编码好，发送给客户端。character_set_database这个参数指定的是数据库存储数据时用什么编码，默认是拉丁编码，如果数据库的表不指定编码，则默认继承库的编码，如果字段不设置编码，则默认继承表的编码。所以hive表默认使用latin编码时就已经出现了乱码，则再去解析数据传给客户端时自然也是乱码的。
Hive comment中文乱码解决
SindriC的博客
02-20 791
由于hive底层的运行机制，即把元数据存储在MySQL中，但是MySQL的默认编码是支持Latin1的编码，不支持中文编码。数据库hive中的表就存储了hive的各种元数据信息。首先就是进入MySQL。
数据库注释中文乱码问题
最新发布
weixin_47740650的博客
07-09 491
我们连接hive数据库，在表中创建字段时，常常会在注释栏添加注释，但会遇到中文乱码问题。注释属于元数据的一部分，同样存储在mysql的metastore库中，如果metastore库的字符集不支持中文，就会导致中文显示乱码。不建议修改Hive元数据库的编码，此处我们在metastore中找存储注释的表，找到表中存储注释的字段，只改对应表对应字段的编码。本次案例使用DataGrip示范，其他软件可以类推。
记录一下hive启动metestore服务时报错
yuanlaishidahuaa的博客
04-19 969
之前hadoop有问题，把hadoop和MySQL删了重装，hive没有动，然后启hive的metastore服务的时候，显示找不到metastore数据库。Hive元数据库的字符集默认为Latin1，由于其不支持中文字符，所以建表语句中如果包含中文注释，会出现乱码现象。修改Hive元数据库中存储注释的字段的字符集为utf-8。3）初始化Hive元数据库。2）新建Hive元数据库。4）修改元数据库字符集。1）启动Hive客户端。1）登陆MySQL。5）退出mysql。2）查看一下数据库。
hive 中文字符过滤_hive中文字符乱码 解决方法【转】
weixin_42627902的博客
12-24 1731
一.个人初始开发环境的基本情况以及Hive元数据库说明①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置)②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true③普通情况下咱们的mysql默认编码是latin1,但是我们在日常开发中大多数...
hive的编码问题
火麒马
07-09 841
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) 创建表的时候报错 后面将生成的hive表删除。 重启启动hive 修改hive字符集 alter database
Hive 库表中-中文注释乱码
大数据&数据分析&数据治理
09-01 495
Hive中文乱码：注释及中文字段都是乱码 剖析: 1.Hive的元数据库编码 通常hive的元数据存放在mysql中，mysql默认编码格式为latin1，但实际上环境中用的多为utf-8编码， 注意:Hive的存储引擎必须为latin1,否则创建表会失败。 如果编码非latin1,修改为utf-8 alter database hive元数据库名 character set latin1; 解决方法: 修改编码,设置为utf8 在mysql配置文件/etc/my.cnf...
Hive注释乱码问题/更改元数据库配置
wj1298250240的博客
11-23 301
情况： 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 说明： 默认情况下metastore 支持数据库级别，表级别的字符集是 latin1 解决方法(修改完成后，已有乱码的表需要重建)： 1. 修改metastore元数据库中指定表字段的编码为utf8 2 #修改字段注释字符集 3 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
Hive中文乱码问题：
Deng872347348的博客
12-17 571
Hive中文乱码问题： 在做实战时发现存在中文乱码问题： 为什么会乱码： 普通情况下咱们的mysql默认编码是latin1,但是我们在日常开发中大多数情况下需要用到utf-8编码,如果是默认latin1的话,咱们的中文存储进去容易乱码,所以说大家在遇到一些数据乱码的情况话,最好把mysql的编码改成utf-8. 注意一点：:hive的元数据metastore在mysql的数据库,不管是数据库本身,还是里面的表编码都必须是latin1(CHARACTER SET latin1 COLLATE latin1_b
05-配置数据库的远程连接 创建hive数据库的时候要选择latin1
weixin_30951231的博客
05-07 247
1.解压hive的tar包2.配置环境变量 source /etc/profile3. cp /root/Downloads/apache-hive-1.2.0-bin/lib /root/Downloads/hadoop-2.6.5/share/hadoop/yarn/lib3 hive4.可以 show databases; show tables; create ...
Hive中启动metastore服务时报错解决方案
qq_42951717的博客
07-06 5858
初始化完Hive元数据后，使用/opt/module/apache-hive-3.1.2-bin/bin/hive --service metastore命令尝试启动metastore服务时报错 解决方案： 进入Hadoop目录下的share/hadoop/common/找到hadoop-common-3.2.3.jar包，然后将该包复制到apache-hive-3.1.2-bin/lib/目录下，再次启动发现在前台运行不会报错了......
hive中文汉字乱码终极解决办法
u013289115的博客
05-15 9379
一、问题 在创建hive表时，comment要加中文注释，比如： drop table if exists users; create table users( name string comment '姓名', age int comment '年龄' ); 执行后再show create table users; 二、别人的解决方法 中国文化博大精深，无奈没有成为世界统一标准，根据一般人的经验，脑中一定是utf8哪个地方没设置好的问题，经过一番百度，找到 如下解决方法，在hive的mysql元数据库
hive中解决中文乱码
weixin_33881050的博客
09-03 1397
一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为  jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true ③普通情况下咱们的mysql默认编码是latin1,但是我们在日常...
解决Hive 2.1.1 中文乱码与表结构查看问题
在使用Hive时，用户有时会遇到中文乱码问题。这通常是因为Hive在处理数据时，其默认字符集和编码方式可能与数据的实际编码不匹配所致。解决这个问题可能需要调整Hive和Hadoop环境的配置，比如设置HiveServer2的字符...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值