DRD

hadoopHA最低部署，免免密登录

在测试flink的HA时，把某个节点（部署了jobmanager和namenode）的节点reboot了，然后启动时发现namenode没有起来，报错大概如下：org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /tmp/hadoop/dfs/journalnode/xxxx not formatted at org.apache.hadoop.hdfs.qjou

task和jobmanager不知道为什么挂了flink-flink-taskexecutor-0-node2.log日志如下：2021-04-04 10:03:15,058 INFO org.apache.flink.runtime.io.network.netty.NettyConfig - NettyConfig [server address: /192.168.11.132, server port: 0, ssl enabled: false, memory segmen

用户列表文件/etc/passwd用户组文件/etc/grouppasswd文件内容如下：root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinsync:x:5:0:sync:/sbin:/bi

Hadoop2.6.5HA高可用部署

说明1.三台机器192.168.10.131 node1192.168.10.132 node2192.168.10.133 node32.用户都是flink三台集群免密登录参考：https://blog.youkuaiyun.com/sndayYU/article/details/115036682用户flink，别名分别时node1、node2、node3可以用xshell一起配置，基本涉及命令如下：useradd flinkpasswd flinkvim /etc/sudoer

1001 date -R1002 timedatectl set-timezone Asia/Shanghai1004 sudo yum -y install ntp1005 ntpdate pool.ntp.org1006 systemctl start ntpd1007 systemctl enable ntpd1008 date -R

前提1）hadoop3.1.4,搭建可以参考：https://blog.youkuaiyun.com/sndayYU/article/details/1150372562）3台服务器，在1）中已设置免密登录：192.168.11.131 hadoop1192.168.11.132 hadoop2192.168.11.133 hadoop32）zookeeper3.4.14（别的版本也可以，并不是太重要）：3台机器都装有3）openjdk1.84）确保flink和hadoop的操作用户相同（不然会连不上h

计划HDFS: 192.168.11.131上 部署 NameNode，133上部署SecondaryNameNode；YARN: 192.168.11.132上部署ResourceManager前提：1.jdk已安装，JAVA_HOME已配置2.hadoop用户已配置ssh免密，root也已设置了免密登录3.关闭防火墙一.192.168.11.131服务器上操作1.上传安装包，并解压[hadoop@localhost .ssh]$ rz-bash: rz: 未找到命令[hadoop@

准备3台机器，192.168.11.131-133，设置他们在用户hadoop上的免密登录。1.新建hadoop用户，设置密码为8ik,(OL>，并设置用户权限。------3台机器同时操作[root@localhost ~]# useradd hadoop[root@localhost ~]# passwd hadoop// 修改用户权限[root@localhost ~]# vim /etc/sudoers...最后吗加入下面一行，再 :wq! 强制保存hadoop ALL=(

vmware配置如下：

1.创建用户useradd -m zookeeper检查：cat /etc/passwdcat /etc/groupcd /home/zookeeper------------自行在home下建立了zookeeper目录2.上传并解压zookeeper，修改配置文件、修改用户及用户组1)tar zxf zookeeper-3.4.14.tar.gz2)chown -R zookeeper:zookeeper zookeeper-3.4.143)mv zoo_sample.cfg zoo.

Centos7搭建FTP，支持浏览器直接访问服务器资源文件

CentOS7单机和集群安装配置MongoDB教程

本地物理机无法ping通虚拟机问题描述解决问题描述本地和虚拟机都可以连接网络，虚拟机可以ping通物理机，但物理机无法ping通虚拟机。查看网络适配器发现并没有“VMnet1”和“VMnet8”（我用的是VMware Workstation Pro）解决...

Centos7常用命令文件命令系统命令文件命令命令描述rm -f 文件忽略不存在文件，强制删除，无提示rm -rf 目录递归删除目录及下面文件cp -b 旧文件 新文件复制文件并重命名vi 文件名-------修改文件i：进入文件时，"i"可进入编辑状态esc + :q!-------不保存强制退出esc + :wq保存强制............