Kettle Sqoon 数据表从mysql导入到hive的两种方法【实战】

首先要有思路

第一个思路就是直接把一个mysql表导出成一个hive表

第二个思路就是把mysql表的内容上传到hdfs上再把hdfs的上传的内容变成hive表

思路一

这样传需要注意mysql表的字段名，不可以带.例如emp.empno如果带.的话会显示导入失败

还有有些会出现报错，出现报错大概率是因为hive的设置修改设置具体可参考

Kettle Sqoon 数据从mysql导入到hive时报错 mysql2hive - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020思路二

思路二需要先配置hdfs连接

重启 kettle，进入之后：

本篇已经提前配置好host映射 bigdata01与虚拟机ip为映射关系

这个hadoop file system connection显示绿色即可

假如你使用了 hdfs 自带的文件夹，比如/home，会报没有权限的错误

解决办法：修改 hdfs 中的文件夹的权限：

hdfs dfs -chmod -R 777 /home

然后就可以正常配置了

假如报：无法读取 hdfs://bigdata01:9820/home/aaaa 的问题

1、查看本地是否配置了 HADOOP_HOME 的环境变量

2、spoon.bat 中是否添加了 utf8 字符集