sqoop导入数据至mysql时，emoji表情无法导入mysql问题解决

最新推荐文章于 2024-01-23 11:23:13 发布

原创最新推荐文章于 2024-01-23 11:23:13 发布 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

sqoop 专栏收录该内容

1 篇文章

订阅专栏

在尝试使用sqoop从数据源导入数据到MySQL时遇到了'Incorrect string value'错误，该错误涉及到emoji表情无法正确存储。解决方法包括修改MySQL配置以支持utf8mb4字符集，或者升级mysql-connector并调整sqoop命令参数，确保使用正确的驱动和字符编码设置。

异常：Caused by: java.io.IOException: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x86\x95' for column 'customer_name' at row 6

解决方法一：

修改Mysql库的配置，此举涉及mysql重启，如有其他生产服务使用，不建议使用此方法。

[client]

default-character-set = utf8mb4

[mysql]

default-character-set = utf8mb4

[mysqld]

character-set-client-handshake = FALSE

character-set-server = utf8mb4

collation-server = utf8mb4_unicode_ci

init_connect='SET NAMES utf8mb4'

解决方法二：

升级驱动：将mysql connector升级到8，下载此包，替换sqoop安装路径lib下的mysql-connector包

包maven下载

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.16</version>
</dependency>

修改mysql表字段编码：

ALTER TABLE test MODIFY customer_name VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

修改sqoop命令关于mysql的driver和connect:

com.mysql.cj.jdbc.Driver

jdbc:mysql://192.168.xxx:3306/xxx?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT%2B8

sqoop命令案例如下:

/opt/cluster/sqoop-1.4.6-cdh5.6.0-etl/bin/sqoop eval --connect 'jdbc:mysql://ipaddress:port/dbName?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT%2B8' --username '********' --password '*******' --query "truncate table easefin_data.fact_jf_registrat_details"
/opt/cluster/sqoop-1.4.6-cdh5.6.0-etl/bin/sqoop export -D mapred.child.java.opts="-Djava.security.egd=file:/dev/../dev/urandom" --connect 'jdbc:mysql://ipaddress:port/dbName?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT%2B8' --username '*******' --password '********' --update-mode allowinsert --input-null-string '\\N' --input-null-non-string '\\N' --table 'fact_jf_registrat_details' -m 1 --export-dir hdfs://nebula/user/hive/warehouse/dm/fact_jf_registrat_details --input-fields-terminated-by '\01'