hive orc varchar乱码问题

最新推荐文章于 2024-07-24 20:46:25 发布
原创 最新推荐文章于 2024-07-24 20:46:25 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #big data

本文介绍了在使用CDH 6.2.0和Hive 2.1.0时，遇到Hive查询Orc格式varchar字段出现乱码的问题。问题源于未指定查询时的编码格式，默认编码非UTF-8。解决方案包括在Hive on MapReduce和Hive on Spark场景下，通过修改配置文件，指定-Dfile.encoding=UTF-8来确保作业运行时的编码为UTF-8。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、问题产生的原因

作者使用的cdh版本是6.2.0，hive版本是2.1.0，原因是hive查询orc格式的varchar字段的时候没有指定编码，使用了默认编码，默认的编码不是utf-8引起的，具体可以参考这篇大佬源码追踪的文章，链接是:hive中文字段乱码排查

2、解决方法

2.1 hive on mapreduce解决

其实上面的链接有大佬给出的解决方法，有挺多的，可以重新打包，不过比较简单和推荐的还是直接在cm界面修改一下配置文件，指定am，maptask和reducetask的运行编码格式
在后面加上: -Dfile.encoding=utf-8 就可以了

2.2 hive on spark的解决

思路是一样的，就是指定作业的运行编码为utf-8，避免使用默认编码就行。
在cm的管理界面，进到spark的配置，搜索spark- 找到高级代码客户端配置 spark-default.conf，文本框输以下配置：

spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8
spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8
Hive中处理中文乱码问题的解决方法
YbDocker的博客
09-17 1972
如果已经存在的Hive表中包含中文数据，并且出现了乱码问题，可以使用Hive内置的转码函数来处理。综上所述，通过设置Hive的字符集编码、创建表时指定字符集编码和使用转码函数处理中文数据，可以有效地解决Hive中文乱码问题。在实际应用中，根据具体情况选择适合的方法来处理中文数据，以确保数据的正确性和一致性。例如，假设存在一个名为my_table的Hive表，其中的col1列包含中文数据，并且出现了乱码问题。这样设置之后，Hive会将输入和输出的数据都以UTF-8编码进行处理，从而避免中文乱码问题。
datax 导入数据中文乱码_sqoop导入oracle数据到hive字符集不同导致中文乱码问题
weixin_39854070的博客
12-20 982
最近在做sqoop导入oracle数据到hive字符集乱码问题，虽然没有解决，但是现在将一些尝试的过程发布，供大家参考，以后有遇到这种问题的供大家参考少走弯路。oracle里面的字符集是us7ascii，导入到hive里面后中文乱码hive环境(元数据为mysql)字符集是utf，在命令里面使用convert(rd_yj,'UTF8','US7ASCII')和utl_raw.cast_to_var...
Hive导出ORC表数据所遇到的乱码问题及其它导出问题
qq_45124566的博客
06-20 1494
Hive导出ORC表数据所遇到的乱码问题
hive中解决中文乱码
weixin_33881050的博客
09-03 1404
一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为  jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true ③普通情况下咱们的mysql默认编码是latin1,但是我们在日常...
hive 查出来的汉字 出现问号 乱码 一张表单独查询没问题 只要关联就乱码
小小爪哇工程师的博客
02-27 632
开发过程中就发现一个比较奇怪的问题，一张表里面有中文的数据的字段，单独查这张表是没有问题的，但是只要一关联，不管怎么关联就会乱码，出现问号，并且其他的中文数据并没事，后来发现是建表的时候。，可以查询的时候试下cast行不行。
hive解决中文乱码问题
LSB19930706的博客
07-21 1143
execl保存为以逗号分隔的csv文件加载到hive表，查询时会出现中文乱码，可以建表时指定编码格式 CREATE TABLE code( prod_spec_code string, prod_spec_name string, num string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'...
java读parquet文件乱码,hive中文字段乱码排查
weixin_35363322的博客
03-10 1010
hive版本为2.1.1-cdh6.2.0，下载地址hive-2.1.1-cdh6.2.0问题在orc格式的表中，一些列中存储的是中文，进行select查询时，偶尔会乱码如下所示：MapReduce Jobs Launched:Stage-Stage-1: Map: 1 Cumulative CPU: 3.45 sec HDFS Read: 5241 HDFS Write: 120 HDF...
Hive中文乱码的解决方法
weixin_48663895的博客
01-12 2072
解决Hive中文乱码问题
Hive基础知识大全
qq_54677773的博客
07-24 5309
Hive本质是将SQL转化为MapReduce的任务进行计算，底层由HDFS来提供数据存储。说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步说hive就是MapReduce的一个客户端。Hive是数据库建模工具之一可以向Hive传入一条交互式SQL,在海量数据中查询分析得到结果的平台继承重写evaluate()，这个方法不是由接口定义的,因为它可接受的参数的个数,数据类型都是不确定的。Hive会检查UDF,看能否找到和函数调用相匹配的evaluate()方法。
HIVE 大数据学习
OutRoading的博客
03-09 1273
Apache Hive是一款建立在Hadoop之上的开源系统，可以将存储在Hadoop文件中的，基于表提供了一种类似SQL的查询模式，称为，用于访问和分析存储在Hadoop文件中的大型数据集Hive核心是将 HQL转换成MapReduce程序，然后将程序提交到Hadoop集群执行。Hive由Facebook实现并开源。
解决hive建表中文乱码问题
一个i人的自我救赎
05-30 6152
当hive建表字段注释中出现中文乱码时，可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。参数，来指定字符集编码为 UTF-8。参数，来指定字符集编码为 UTF-8。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。需要注意的是，在进行配置时，建议采用统一的字符集编码，以确保所有代码能够正常工作。（3）判断hive的所依赖的mysql元数据库的编码格式是否是UTF-8。来指定使用 UTF-8 字符集编码。在这个示例中，我们通过设置。
hive 插入中文乱码
chenla5762的博客
11-23 494
插入数据时，要将中文数据转码为 iso8859-1 new String("测试数据".getBytes(),"iso8859-1"); 如果是shell 将shell 工具转为iso 编码格式 ...
大数据-hive创建表出现中文乱码问题-解决过程详解
weixin_47055922的博客
02-02 2515
一、场景描述 1、创建表语句： hive> create table movie02( userID int comment '用户ID', movieID int comment '电影ID', rating int comment '电影评分', timestamped bigint comment '评分时间戳', movieName string comment '电影名字', movieType string commen...
解决Hive中文乱码问题
duyenson的博客
11-24 4639
hive中文编码问题
Datax从mysql导出数据到hive中时中文乱码
qq_15040921的博客
04-13 877
在mysql 使用命令 show variables like 'character%';这样的问题有很多解决处需要解决1 在读数据时设置字符集 ，在写数据时设置编码集。还有就是mysql自身上的一个编码集格式的设置。修改后在导入数据进行查看。
Hive中文注释乱码问题解决
邢为栋
08-20 218
在Hive元数据库(MySQL)按照如下修改即可 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000
Hive数据表中文乱码问题解决
SCGH_Fx的专栏
05-30 5558
环境:hive-2.1.1,Hadoop-2.7.3,Ubuntu16.0.4,Mysql-5.7出现乱码的现象如图：该方法只适合修改配置后新建的表，对于在修改配置之前建的表，依然会出现乱码。1.Ctrl+t打开终端2.输入mysql -u root -p 命令，进入MySQL输入 SHOW VARIABLES LIKE 'char%'; 查看MySQL编码，有两个不是utf83.在终端中输入 s...
hive内置函数
老猿说说专栏
09-24 1088
数学函数 Return Type Name (Signature) Description DOUBLE round(DOUBLE a) Returns the rounded BIGINT value of a. 返回对a四舍五入的BIGINT值
hive表的存储格式 : ORC格式的使用
行走的树
01-03 7739
hive表的源文件存储格式有几类：1、TEXTFILE 默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoop fs -cat 查看2、SEQUENCEFILE 一种Hadoop API提供的二进制文件，使用方便、可分割、可压缩等特点。 SEQUENCEFILE将数据以< key,value>的形式序列化到文件中。序列化和反序
hive插入数据后混乱
最新发布
06-14
### Hive 插入数据后出现乱码或格式混乱的原因及解决方法 #### 1. 原因分析 Hive 插入数据后出现乱码或格式混乱的主要原因包括以下几个方面： - **字符集不一致**：如果 Hive 元数据库（通常是 MySQL）和 Hive 表的字符集设置不一致，可能会导致插入数据时出现乱码[^2]。 - **字段分隔符冲突**：在使用 `ROW FORMAT DELIMITED` 定义表时，如果字段分隔符与实际数据中的内容冲突，会导致数据解析错误，从而引发格式混乱[^3]。 - **存储格式不匹配**：Hive 支持多种存储格式（如 TEXTFILE、ORC、Parquet 等）。如果插入的数据格式与表定义的存储格式不匹配，可能会导致数据读取异常[^1]。 - **分区字段编码问题**：如果分区字段或值包含特殊字符（如中文），而元数据库未正确配置字符集，则可能导致分区信息无法正确解析。 #### 2. 解决方法 ##### 2.1 统一字符集 确保 Hive 元数据库和 Hive 表的字符集一致。可以通过以下方式修改 MySQL 的字符集配置： ```sql ALTER TABLE COLUMNS_V2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8; ALTER TABLE TABLE_PARAMS MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8; ALTER TABLE PARTITION_PARAMS MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8; ALTER TABLE PARTITION_KEYS MODIFY COLUMN PKEY_COMMENT VARCHAR(4000) CHARACTER SET utf8; ALTER TABLE PARTITIONS MODIFY COLUMN PART_NAME VARCHAR(767) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL; ALTER TABLE PARTITION_KEY_VALS MODIFY COLUMN PART_KEY_VAL VARCHAR(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL; ``` 此外，还需要修改 MySQL 配置文件 `/etc/my.cnf`，确保客户端和服务端都使用 UTF-8 字符集： ```ini [client] default-character-set = utf8mb4 [mysqld] character-set-server = utf8mb4 collation-server = utf8mb4_general_ci ``` 修改完成后，重启 MySQL 服务以使更改生效。 ##### 2.2 检查字段分隔符 在创建 Hive 表时，明确指定字段分隔符和行分隔符，避免与数据内容冲突。例如： ```sql CREATE TABLE http_input_log ( log_date STRING, log_time STRING, thread_id STRING, log_level STRING, api_name STRING, remark STRING, method_explain STRING, message STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/weblog/flume-collection/21-04-13/15-00'; ``` 确保实际数据文件中的字段分隔符与表定义一致[^3]。 ##### 2.3 确保存储格式匹配 如果需要将 ORC 格式的数据转换为 TEXTFILE 格式，可以先创建一个临时表，并将数据导出为文本文件： ```sql CREATE TABLE student_text LIKE student_orc STORED AS TEXTFILE; INSERT INTO student_text SELECT * FROM student_orc; ``` 然后通过 HDFS 命令导出数据： ```bash hdfs dfs -get /user/hive/warehouse/student_text/dt=20230619 /opt/module/hive/datas/export/student.txt; ``` 此方法可以避免直接操作 ORC 文件时的格式问题[^1]。 ##### 2.4 检查分区字段编码 如果分区字段包含特殊字符（如中文），需要确保元数据库支持相应的字符集。例如： ```sql ALTER TABLE PARTITIONS MODIFY COLUMN PART_NAME VARCHAR(767) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL; ``` 同时，在创建分区表时，明确指定分区字段的字符集： ```sql CREATE TABLE my_partitioned_table ( id INT, name STRING ) PARTITIONED BY (dt STRING) STORED AS ORC; ``` #### 3. 示例代码 以下是一个完整的示例，展示如何创建表、插入数据并避免乱码问题： ```sql -- 创建表 CREATE TABLE test_table ( id INT, name STRING, comment STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; -- 修改元数据库字符集 ALTER TABLE COLUMNS_V2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8; ALTER TABLE TABLE_PARAMS MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8; -- 插入数据 INSERT INTO test_table VALUES (1, 'Alice', '测试注释'); ``` ### 注意事项 - 在插入数据前，务必检查数据源的编码格式是否与 Hive 表一致。 - 如果使用外部文件加载数据，确保文件的编码格式与 Hive 表的字符集匹配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值