spark 配置mysql 作为hive元数据的时候 要用latin1 字符集

最新推荐文章于 2023-11-24 15:50:04 发布
原创 最新推荐文章于 2023-11-24 15:50:04 发布 · 627 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解决了一个MySQL因键过长导致的异常问题，指出使用UTF8可能会遇到的最大键长度限制为767字节的问题。

问题


com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes


不要用utf8

Hive集成Mysql作为元数据
weixin_33912445的博客
03-04 240
默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下几步骤:第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务。此步省略，具体请看http://www.cnblog...
HIVE安装系列之二：配置HIVE(用Mysql作为元数据仓库)
zhangyu404的专栏
02-10 1078
Hive里面应用Derby作为元数据仓库metastore，这是在软件中已经实现了的， 但是Derby有自身的缺点：只支持一个链接。所以必须要用mysql作为元数据仓库。 在combanc03上安装hive，在combanc05上安装mysql，这样可以让mysql允许远程访问。 具体安装mysql过程请参见mysql笔记本中的《在Linux中安装mysql》
Spark 学习（十一） spark使用hive的元数据信息
weixin_30763455的博客
06-11 596
一，简介 二，shell方式配置和使用hive元数据信息 　　2.1文件配置 　　2.2驱动包加载 　　2.3命令行启动 三，IDEA编程方式使用hive元数据信息 　　3.1添加依赖 　　3.2程序示例 正文 一，简介 　　跟hive没太的关系，就是使用了hive的标准（HQL， 元数据库、UDF、序列化、反序列化机制）。Hive On Spark...
hive使用mysql作为元数据库时的编码问题
大数据训练营
07-30 1万+
hive的Specified key was too long; max key length is 767 bytes问题解决 解决一： FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creatingalidating the datastore for cl
Spark 处理中文乱码问题（UTF-8编码）
Amber_amber的专栏
12-03 3万+
问题场景 要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。
hive on spark集群环境部署（彻底摆脱做毕设没环境）
m0_64893323的博客
11-13 1522
hive on spark环境部署
Windows+Spark+Scala+Hadoop+Hive+Mysql环境搭建 实现读取Mongo数据写入hive
weixin_38705082的博客
11-06 1119
一.jdk安装部署 1.去官网下载jdk1.8.0_201.tat.gz; 解压jdk1.8.0_201.tat.gz至D:\soft\Java\jdk1.8.0_201 2.配置系统环境变量（因为简单所以省略具体步骤） 二.Hadoop安装部署 1.去Hadoop官网下载hadoop2.7.7.tar.gz； 下载hadooponwindows-master.zip（后面有用） 解压hadoop...
Centos7下搭建大数据处理集群（Hadoop+Spark+Hbase+Hive+Zookeeper+Kafka+Flume）详细步骤
风尘子曰
12-12 3185
一.目录 二.集群规划 三.虚拟机准备及基础配置设置 四.Hadoop 4.1安装Hadoop 4.1.1上传解压安装包 1.创建软件安装包上传目录/opt/package,Hadoop安装目录/opt/hadoop [root@hp1 opt]# mkdir package [root@hp1 opt]# mkdir hadoop 2.将下载好的Hadoop安装包上传到/opt/package...
hive创建数据库，默认字符集是多少
最新发布
09-27
元数据表（如`DBS`、`TBLS`等）的字符集定义继承自MySQL的`character_set_server`配置，默认Latin1[^1][^3]。 #### 2. **数据存储层面** Hive数据文件**本身无强制字符集约束**： - **存储格式决定字符处理**： -...
大数据基础设施搭建 - Hive
m0_46218511的博客
11-24 2765
hive元数据存储：默认是元数据存储于hive内置的derby数据库，是用Java写的。生产中使用独立服务模式，因为在嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。如果配置文件中有此项配置，说明hive在连接元数据的时候需要走第三方服务thrift，必须启动独立服务模式metastore服务！有两种提供服务的方式，分别是嵌入式模式和独立服务模式。hive元数据概述：记录了hive中表的名称、列名、数据类型、分区信息、数据存储路径等。
spark sql连接hive的元数据（mysql库）时报错：Specified key was too long; max key length is 767 bytes
weixin_42873992的博客
09-06 313
问题： spark sql连接hive的元数据（mysql库）时报错：Specified key was too long; max key length is 767 bytes。 解决： 其实是mysql数据字符集问题，只要修改mysql中hive元数据库的字符集便可，即alter database dbname character set latin1;可是设置后启动时仍然报错，启动命令如...
Hive设置MySQL元数据中文乱码编码问题以及解决
cuichunchi的博客
07-30 2088
Hive设置MySQL元数据编码问题 表或者字段有中文的时候需要修改hive的元数据库的设置。 以mysql为例子，当mysql的字符集设置成utf8的时候使用hive会有问题（一些命令直接不能执行），详细见hive的wiki。 所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1。 1. 但是，因为MySQL通过my.cnf一般情况下设置为utf-8编码，因此需要在创建Hive元数据库时，需要将MySQL中的hive库改回latin1。 alter datab
hive出现字符集错误，在此记录！
qq_36776216的博客
10-08 629
出现错误 ：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)  在服务器上装好my...
SparkSQL配置(HIVE作为数据源)
jiangzeyun的专栏
09-30 6940
HIVE的配置（以mysql做为元数据的存储，hdfs作为数据的存储）： 1.修改 hive-env.sh  （可以从hive-default.xml.template拷贝修改） #hadoop的主目录export HADOOP_HOME=/usr/local/hadoop # Hive Configuration Directory can be controlled by: export
Spark----Spark加载中文乱码
XiaodunLP的博客
02-20 2079
在有些时候，spark加载HDFS或者本地文件中的中文时候会出现乱码的现象，因此需要在加载的时候进行一些字符的编码设置，将加载的文件的编码格式设置为UTF-8 以下是现有的解决方案和案例（直接读取hadoop file）  val rdd = sc.hadoopFile(file_path, classOf[TextInputFormat], classOf[LongWritabl...
Spark SQL将数据写入Mysql表的一些坑
热门推荐
dai451954706的专栏
10-18 4万+
Spark SQL将数据写入Mysql表的一些坑
Spark写入MySQL报错乱码+报错
九师兄
07-04 1396
river stacktrace: === Streaming Query === Identifier: [id = d788edb9-8954-405e-8591-a5eb2ffc8dfb, runId = eb9baa38-b68f-40f7-a93c-2a3da1b9ca5f] Current Committed Offsets: {KafkaSource[Subscribe[topic_...
使用SparkSession创建Hive表时添加中文注释后乱码问题
mjgdjzh的专栏
12-02 890
在spark操作hive测试过程中，希望添加中文注释，后来发现中文乱码。 解决方法： 在hive元数据库中修改两张表的相应字段的数据编码格式，默认为latin1 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify co...
Hive与HBase集成配置及MySQL元数据管理
从提供的文件信息来看，标题“Hive与HBase的兼容配置”明确指出了技术主题，而描述部分则详细介绍了Hive的安装与配置流程，包括环境搭建、MySQL作为元数据存储的设置等核心步骤，标签进一步补充了涉及的关键组件：...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值