sqoop在MySQL和hive间导数遇见的几种问题

无论是新版本，还是老版本，遇到的问题大部分都是相同的。下面解决问题的方法仅供借鉴

1.拒绝连接的错误表现是什么？

2.表不存在该如何解决？

3.null字段填充符该如何指定？

最近利用sqoop在MySQL和hive间相互导数时遇见如下几种问题：

1、ip相互能够ping通，但是mysql拒绝hive的访问（已经用了root权限）。

该问题出在mysql的权限设定上，一般本地电脑自己安装的mysql的权限是本地权限，也就是

grant all privileges on *.* to testuser@localhost identified by "123456" ;　　//　　设置用户testuser（密码123456），可以在本地访问mysql

需要在mysql命令行修改为，即运行如下命令：

grant all privileges on *.* to testuser@"%" identified by "123456" ;　　　//　　设置用户testuser，可以在远程访问mysql

flush privileges ;　　//　　mysql 新设置用户或更改密码后需用flush privileges刷新MySQL的系统权限相关表，否则会出现拒绝访问，还有一种方法，就是重新启动mysql服务器，来使新设置生效

2、hive导出数据到mysql时，报表不存在的错误

导出数据到MySQL，当然数据库表要先存在，否则会报错
此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。hive默认的字段分隔符为’\001′

3、hive导出数据到mysql时，只导了一部分数据

这一般是因为有些字段存在null。没有指定null字段分隔符，导致错位。设置可参考如下语句：

sqoop export –connect jdbc:mysql://10.10.20.11/test –username root  –password admin –table test –export-dir /user/hive/warehouse/actmp –input-fields-terminated-by ‘\001′ –input-null-string ‘\\N’ –input-null-non-string ‘\\N’

4、其他问题，如字段长短不匹配，日期格式问题，字段对不上或字段类型不一致

这类错误比较容易处理，一般改字段类型或者表结构就行了。

5、测试连接的一些代码

测试链接：

sqoop list-databases –connect jdbc:mysql://localhost:3306/ –username root –password admin

sqoop list-databases –connect jdbc:mysql://localhost:3306/test –username root –password admin

sqoop list-tables –connect jdbc:mysql://localhost:3306/test –username root –password admin

sqoop create-hive-table –connect jdbc:mysql://localhost:3306/test –table active –username root –password admin –hive-table test

参考资料：

http://www.aboutyun.com/thread-12684-1-1.html

http://www.cnblogs.com/candle806/p/4048651.html   --mysql设置方面