场景:hive parquet 文件中的带有emjo 的文本数据写入mysql
生产环境mysql 版本:5.7.28
表级别的设置:
ALTER TABLE demo.table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ;
执行无效
尝试本地使用docker搭建mysql 模拟插入带有emjo 格式的文本数据
本地搭建docker mysql 版本:5.7.26
my.cnf 配置文件内容:
[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
init_connect='SET NAMES utf8mb4'
设置docker 使用本地my.cnf 作为配置文件
说明:/usr/local/docker/ 表示本地路径 冒号 ":" 后边是映射到的docker 配置路径
启动mysql
docker run -d -p 3306:3306 -v /usr/local/docker/my.cnf:/etc/mysql/mysql.conf.d/mysqld.cnf -e MYSQL_ROOT_PASSWORD=root --name mysql mysql:5.7.26
jdbc url 配置:
jdbc:mysql://127.0.0.1:3306/demo?useUnicode=true&characterEncoding=utf8
本地测试有效 将该思路拿到生产环境验证

本文详细记录了在生产环境中将含有emoji的Hive Parquet文件数据导入到MySQL 5.7.28的过程,包括遇到的UTF8MB4字符集问题及解决方案。通过在本地使用docker搭建MySQL 5.7.26进行测试,成功实现了emoji的存储,并提供了my.cnf配置文件内容以及jdbcurl配置示例。然而,同样的配置在生产环境中未能生效,说明可能存在的环境差异或配置不一致问题。
969

被折叠的 条评论
为什么被折叠?



