qq_28286027的博客

执行jar命令如下： [root@bigdata101 flink-1.12.0]# bin/flink run -c app.FlinkCDC /data/project/flinkCDC/onedata-flink-1.0-SNAPSHOT-jar-with-dependencies.jar 异常： ------------------------------------------------------------ The program finished with the following

运行wordcount代码异常原因： Windows本地hadoop环境是2.6.4，而我的pom配置的依赖是2.7.3 解决办法： 将pom的配置依赖jar版本改成2.6.4

Windows的唯一方法用于检查当前进程的请求，在给定的路径的访问权限，所以我们先给以能进行访问，我们自己先修改源代码，return true 时允许访问。我们下载对应hadoop源代码，hadoop-2.7.3-src.tar.gz解压，hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\h...

Hadoop的全分布模式最少需要三台机器：一台主节点，两台从节点。全分布模式主要用于生产环境。本节将来介绍一下Hadoop2.x全分布模式的环境搭建过程。 实验环境： VMware Workstation 14 Pro：https://pan.baidu.com/s/13xFtXXaH_HpbwpOrki78bw CentOS 7 64位：https://pan.baidu.com/s/11...

一：master配置 1.新建tmp目录 2.master,slave配置 Master： Slave： 3.core-site.xml配置 4.mapred-site.xml配置 5.hdfs-site.xml配置 6.hadoop-env.sh配置 7.本地网络配置： Vim /etc/hosts 配置...

解决办法： 找到/etv/ssh/ssh_config 在最后添加： StrictHostKeyChecking no UserKnownHostsFile /dev/null 或者：ssh-o StrictHostKeyChecking=no192.168.0.xxx 内网中非常信任的服务器之间的ssh连接 ...

解决办法： 在从节点的logs中查看日志如下： 发现问题原因是主节点的VERSIONID和从节点不一样导致的 解决办法： 1.有重要数据情况下：把主节点的VERSIONID复制到从节点中 2.没有重要数据情况下：把主节点的hdfs文件夹都删掉 ...

错误原因： Hadoop启动后，在使用格式化namenode，会导致datanode和namenode的clusterID不一致 解决办法： 修改datanode下的clusterID和namenode的clusterID一致： 1.先找到/etc/hadoop/hdfs-site.xml 2.里面有datanode的路径，在那个路径下找：/current/VERSION文件，即可修改c...