
Sqoop技术
英杰.王
这个作者很懒,什么都没留下…
展开
-
[hadoop][sqoop]导入大表的异常
用sqoop全量地往HDFS中导入一张大表,大概30G左右。运行的过程总是不成功,抓了日志分析,发现是sqoop运行时候抛出了MySQL的异常: java.sql.SQLException: Incorrect key file for table '/tmp/#sql_f27_0.MYI'; try to repair it 再分析,发现是sqoop解析SQL语句后,会组装出一条边界确...原创 2014-05-30 21:13:42 · 480 阅读 · 0 评论 -
[hadoop][sqoop]导入大表的异常
orrect key file for table '/tmp/#sql_f27_0.MYI'; try to repair it 再分析,发现是sqoop解析SQL语句后,会组装出一条边界确认的SQL脚本,类似这样的SELECT MIN(id), MAX(id) FROM (select id,xxoo from [big_table] a where (1 = 1) ) AS t1 这个脚本会把大表全部读取到MySQL服务器的内存中,再找出min(id)与max(id),所以服务器原创 2014-05-30 21:13:42 · 198 阅读 · 0 评论