将关系型数据库中的数据通过dataX传至HDFS上遇到的问题

将关系型数据库中的数据传至HDFS上:

DataX 实现从MySQL导入数据到HDFS_数据从mysql通过datax到hdfs中有遇到什么问题吗-优快云博客

遇到的问题:

第一个:

DataX运行报错：数据库服务的IP地址或者Port错误，请检查填写的IP地址和Port或者联系DBA确认IP地址和Port是否正确。如果是同步中心用户请联系DBA确认idb上录入的IP和PORT信息_datax 连不上127.0.0.1数据库-优快云博客

 第二个：

com.adaba.datax.common.exception.DataXException: Code:[HdfsWriter-04], Description:[您配置的文件在写入时出现IO异常.]. - org.apache.hadoop.ipc.RemoteException(java.io.IOException): File/travel_new/db/users_full__1d441f06_e282_4890_b9b0_b37aa7acc45c/users__65a707a2_ed8f_47f1_ba92_bdae9097688d could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation. 

只能被复制到0个节点，而不是最小复制数（=1）。目前有0个数据节点正在运行，并且在此操作中没有排除任何节点。

解决思考参考：

 DataX MySQL2Hive报错：[您配置的文件在写入时出现IO异常.] 解决办法-优快云博客

记一次datax hdfswriter的踩坑记（上传文件到hdfs的坑）_dfs.client.use.datanode.hostname 不生效-优快云博客

最终解决:

因为我没有hadoop集群，我只有hadoop节点，也还没有部署伪分布，所以才会出现datanode为空的结果，所以我将伪分布式部署成功之后就可以了。

基于CentOS 7搭建Hadoop伪分布式_centos7搭建hadoop伪分布集群-优快云博客