最近在学习大数据的基础环境搭建,在搭建的途中遇到了这些问题:
1.在ssh免密连接首次连接slave1时需要在msater ssh目录下进行否则会出现免密失败的假像。
2.当在分发Java时应该在master目录下进行,虽然不知道是为何,如果在Java中分发会导致jdk分发不到slaves,还有就是一定要先进行分发后再进行slave下的操作。
3.在master关于创建创建zkdata和zkdatalog文件夹时,一定要在在 zookeeper-3.4.10 的目录中,刚开始做时,配置好文件 conf/zoo.cfg,便在zookeeper-3.4.10/conf目录下就进行了创建zkdata文件,所以导致了zookeeper启动不了或者是出现master启动不了而slaves可以启动,然后你回去检查myid,你输入命令cd zkdata ,然后 vi myid 没错确实为1但是这个zkdata文件的位置不对 ,导致还是启动不了,然后你把之前的配置文件检查一遍还是没问题,然后人麻了,确实搞心态。但是像这样也不要慌,你可以输入cd /usr/zookeeper/zookeeper-3.4.10/ 进入这个目录 mkdir zkdata 然后vi myid 为1 这样又重新建一个zkdata 问题就解决了
4.hadoop主要是配置文件一定要仔细,有时少了个>或其他的东西,格式化就不能为零了
5.在搭环境,之前最大的问题就VMware Workstation Pro的网络配置问题。所以这个VMware Workstation Pro是真的不能删呀,因为电脑删除根本删不干净,有好多系统文件要重命名以后才可以删,正是因为这样导致虚拟网卡会一直出问题,很麻烦,反正我是搞了很长时间,现在才勉强可以用(每次都要还原为默认网络配置)。解决方法就是先在任务栏找到编辑,点击虚拟网络编辑器,然后找到修改网络设置,最后点击还原默认网络设置,最后等待还原。如果这样还是不行在根据报错,在百度上搜索,一般都可以解决。