zuodingquan666的博客

1）将下载好的 datax.tar.gz 上传到 hadoop102 的/opt/software。2）解压 datax.tar.gz 到/opt/module。Python(推荐 Python2.6.X)JDK(1.8 以上，推荐 1.8)

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。

新手搭建集群的时候，往往因为集群没起来，就慌了手脚。通过jps发现，往往NameNode和ResourceManager以及SecondaryNameNode没有进程。以上问题的原因主要有以下两点：集群id不一致 集群端口被占用集群id不一致解决方法原因:多次进行namenode格式化造成集群id不一致解决方法：方法1：删除hadoop集群每个服务器目录下的data和log文件，然后重新启动集群。方法2：查看data目录下的name中 data/tmp/dfs/data.

编写一个flink-cdc程序上传到服务器运行报错：Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this sc

1.下载phoenixIndex of /apache/phoenix (cnnic.cn)2.解压[atguigu@hadoop100 module]$ tar -zxvf apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz -C /opt/module/[atguigu@hadoop100 module]$ mv apache-phoenix-5.0.0-HBase-2.0-bin phoenix3.修改配置文件将phoenix/目录下 p

首先我们来查看报错信息：Ended Job = job_1639620592561_0002 with errorsError during job, obtaining debugging information...Examining task ID: task_1639620592561_0002_m_000000 (and more) from job job_1639620592561_0002Task with the most failures(4): -----Task I