逆天骚年的博客

第一步：由于Hdoop HA集群中没有SecondaryNameNode 因此要先删除hadoop目录下的masters文件在所有机器上输入rm -rf /usr/local/hadoop/masters第二步：删除之前的非高可用hadoop集群产生的数据文件第三步：在master上修改hadoop目录下的配置文件hdfs-site.xml完整的配置文件如下：19 <configuratio...

1. 解决hdfs单点故障问题的方法HDFS HA：通过主备NameNode解决 一个集群中只能有一个NameNode处于工作状态 当主NameNode发送故障 则切换到备NameNode上（NameNode的两大功能：接收客户端的读写请求 存储元数据 ）整个集群在输入hdfs namenode -format时 产生元数据 此时hdfs集群还没有启动 主NameNode会格式化产生（初始化）fs...

使用Java API出现以下异常：org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 原因：windows本地的用户名是Administrator 与hadoop的用户名...

第一步：将插件hadoop-eclipse-plugin-2.5.1.jar拷贝到Eclipse安装目录的plugins目录下 重启Eclipse第二步：添加location点击finish之后就可以看到添加成功(0)其实就表示hdfs系统的根目录  在(0)这个文件夹上右键 就可以在hdfs根目录下新建新的子目录、删除目录 或者从本地windows上传文件、文件夹到hdfs 也可以从hdfs中下...

第一步：创建一个新的项目 并导入需要的jar包公共核心包公共依赖包hdfs核心包hdfs依赖包第二步：将Linux中hadoop的配置文件拷贝到项目的src目录下第三步：配置windows本地的hadoop环境变量（HADOOP_HOME：hadoop的安装目录 Path：在后面添加hadoop下的bin目录）第四步：使用windows下编译好的hadoop替换hadoop的bin目录和lib目录...

由于不可控以及不可知的原因 我搭建的hadoop集群突然显示虚拟机出现了问题 导致某一个DataNode数据丢失 并且无法通过Xshell远程访问其他的DataNode 主机和虚拟机无法互相ping通 网上能找的解决办法基本都找了 依然无法解决 因此我能想到的是只能删除虚拟机 重新克隆一台机器 然而还是无法通过远程连接 无奈之下 我重启电脑 发现又可以通过Xshell远程访问了 具体原因尚不知晓克...

1. 查看hdfs根目录下的文件：hadoop fs -ls  hdfs://master:9000/可以简写为以下的形式：hadoop fs -ls /或者这么写：hdfs dfs -ls /2. 创建文件夹：hadoop fs -mkdir /test3. 在指定文件夹中创建空文件：hadoop fs -touchz /test/zs.txt文件为空时 再创建一个同名的文件不会报错 4. 上传...

第一步：使用date命令查看时间 确保四台虚拟机的时间保持同步（相差30s以内都可以接受） 不同步的话 需要跟同一个公用时间同步服务器同步（ntpdate命令）（安装hadoop之前要确保兼容的jdk已经安装好） 第二步：设置SSH免密登录（非必须） 是因为如果不配置的话 在一个节点上启动hdfs时 它会默认远程登录到其他节点启动，这时就会暂停 需要手动输入密码 才能继续免密登...

第一步：首先要确定hadoop、hbase的版本如果需要同时使用整个hadoop生态圈的软件 需要格外注意兼容性的问题 一般不能使用最新版本的hadoop 要下载稳定版目前企业最常用的是hadoop 2.x（hadoop 0.x一般是hadoop团队测试用的）以下演示如何下载稳定版这个就是hadoop在国内稳定的镜像站 选择stable2就可以看到目前最新的稳定版是hadoop 2.9.0查看hb...

原因：hosts文件配置不正确，多加了一个 127.0.0.1 hadoop000的映射导致9000端口只能在本地访问，而不能远程访问。解决方案：可以通过netstat -tpnl查看的端口开放情况，如果显示127.0.0.1:9000，则表示9000端口不能远程访问。可以检查hosts文件，保留一个映射即可或者配置成：0.0.0.0 hadoop000...