Hive数据仓库--Hive导出至Mysql中文乱码问题

也是目前遇到的比较棘手的问题之一，虽然最终解决的时候，并没有修改过多的东西，但是在这个过程中也折磨了近两天的时间。不过这个过程中，查阅了网络上以及书上等等的资料，对于Sqoop导出Hive数据到Mysql中也算是深刻的体验了一把，我解决问题的大致流程：

1. 猜想语句中可能需要加参数设置utf-8的编码，但是不幸的是，设置完成后并没有起到应有的效果。

2. 猜想数据库中编码存在问题（虽然我的这个最终不是这个原因，但是还是很有可能的）：停止Mysql服务，在/usr/share/mysql文件夹下找到mysql配置文件的模版，复制一份拷贝到/etc/my.cnf，修改其中的编码参数：

[client]
#password	= your_password
port		= 3306
socket		= /var/lib/mysql/mysql.sock
default-character-set=utf8

# Here follows entries for some specific programs

# The MySQL server
[mysqld]
port		= 3306
socket		= /var/lib/mysql/mysql.sock
skip-external-locking
key_buffer_size = 16M
max_allowed_packet = 1M
table_open_cache = 64
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
character_set_server = utf8
init_connect='SET NAMES utf8'
user=xxx

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash
default-character-set=utf8
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[myisamchk]
key_buffer_size = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

主要追加的部分，client中default-character-set=utf-8。以及mysqld中character_set_server=utf-8/

user=xxx（运行的用户）。另外，mysql下面也要添加default-character-set=utf-8

重启后达到以下的效果：

3. 猜想Hive编码会不会出现问题，检查Hive中数据并查看远端的编码，确认并不是Hive中数据本身乱码的原因。

4. 检查语句是否存在问题，检查参数是否合理。

在这里发现了我这次的问题，用了--direct模式导入，查找了下是直接导入的形式，但是在这里造成了不少的麻烦，直接去掉，然后后面--export-dir 后面的文件用“”双引号括起来，然后后面在加上

-- --default-character-set=utf-8

目前的语句的模版如下：

$SQOOP_HOME/bin/sqoop export --connect "jdbc:mysql://hadoopwy2:3306/portraitmanagdb?useUnicode=true&characterEncoding=utf-8" --username root --password hadoop --table result_source  --export-dir "/user/hive/warehouse/udb.db/result_source/000000_0"  --input-fields-terminated-by "\t" -- --default-character-set=utf-8

转载注明出处：Hive数据仓库--Hive导出至Mysql中文乱码问题