子小的博客

1.怎么监控数据是否完全导入?使用shell脚本去查询mysql中某表的数据。然后和hive中表的行数对比。2.某表如果2G数据,设置多少个mapper合适?建议128M(和块大小一致)一个mapper即可.3.-m和split-by的优化小量数据时(200M左右)： 最好使用一个map，快且减少小文件。大量数据时： 要特别考虑数据的特征，对于spit-by最完美的情况是有一个:均匀...

#!/bin/bashdb_date=$2echo $db_datedb_name=interaction_business.dbimport_data() {sqoop import \--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \--connect "jdbc:sqlserver://10.4.0.17...

cdh集群sqoop抽取数据遇到权限问题Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x更改hdfs上user文件夹的权限即可：sudo -u hdfs hadoop fs -chmod -R 777 /user附：更改hdfs所属组权限：sudo -u hdfs ...

cdh集群sqoop在抽取mysql时报错：Failed to submit application_1582700194294_0010 to YARN : Application rejected by queue placement policy解决办法在CM界面修改动态资源配置进入到动态资源配置按下图进到放置规则中修改配置，即可解决...

全量导入oracle的数据到hive中以下为一个举例sqoop import \--connect jdbc:oracle:thin:@**10.7.2.70:1521:ddc1** \--username **dmpuser** \--password **dmpuser123** \--query "**SELECT * FROM ddc.DMSVDD005D1 WHERE VBI...