工作中使用sqoop的时候经常会遇到同步失败的情况,但sqoop的报错信息没有任何有用信息,今天我终于找到了可以查看详细日志的地方,芜湖,开心,步骤如下:
1.找到对应applicationId
2.打开yarn页面,根据applicationId找到对应的job
3.点击history
4. 点击失败的task
5.就能看到详细的报错信息了
另附sqoop批量导入mysql命令
sqoop export
-D sqoop.export.records.per.statement=1000 #一次性插入多少条
-D sqoop.export.statements.per.transaction=1000 #每个事务插入多少行
--connect
--batch #开启批处理
注意:-D 参数要放在sqoop后边 --connect前,我最开始放到最后了识别不出来这个参数