qq_42448606的博客

目录Sqoop功能Sqoop架构数据导入Hive流程数据导入HDFS原理数据从HDFS导出原理Sqoop导数据语法mysql中导入表的指定列到HDFSmysql中增量导入数据到HDFS导入数据到Hive中导入数据到Hive分区中导入数据到HBase中HDFS向mysql中导出数据导入数据到job导数据报错处理前面已经给大家讲过sqoop的安装，如果还没有安装的可以再去看看详细安装流程：sqoop详细安装与环境配置sqoop的作用前面也说过主要用于做数据迁移，它用于从关系数据库（如MySQL，Oracl

Hive创建表格报【Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException】在成功启动Hive之后感慨这次终于没有出现Bug了，满怀信心地打了长长的创建表格的命令，报了以下的错误Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException，第一步：查看配置文件 确保没有出错第二步：上网找找同是天涯落人，

数据倾斜数据倾斜优化数据倾斜的含义数据倾斜的主要原因数据倾斜的主要解决方法1、调整Map数（1）小文件合并（2）.复杂文件增加 Map 数2、调整 Reduce数（1）调整 reduce 个数方法一（2）调整 reduce 个数方法二3、根据出现的场景做调整（1）group by 产生数据倾斜数据倾斜的含义数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行 HiveQL 或者运行 MapReduce 作业时候，如果遇到一直卡在 map100%,reduce99%一般就 是遇到了数据倾斜的问