wangmate的博客

解决：将hbase的安装目录下的lib下的hbase-annotations-1.2.6.jarhbase-common-1.2.6.jarhbase-protocol-1.2.6.jar放在sqoop的安装目录的lib下

集群的一种自我保护模式 namenode集群再安全模式下不允许用户的相关的操作的什么情况下 hdfs会进入安全模式？ 1）集群启动的时候进入安全模式 集群的启动顺序： namenode---》 datanode---》 secondarynamenode 集群再启动namenode和datanode的时候一直处于安全模式的 集群启动的时...

hadoop集群中多个datanode中每一个datanode存储的数据的占比相当，负载均衡和每一个datanode的硬件相关的对于hadoop集群来说 namenode会定期检查集群的负载 如果发现集群中datanode节点的负载不均衡的情况下 自动启动负载均衡进行负载均衡---》 将存储占比大的datanode节点上的数据 移动到 存储占比小的datanode节点上将node1...

机架策略 --- 副本存放策略 默认副本3个 默认机架2个多个副本的放置策略：1）第一个副本放在客户端所在节点 目的为了防止数据块的副本上传不成功 最大程度的保证第一个副本上传成功 如果客户端不是集群中的节点 随机选择一个节点 2）第二个副本放在与第一个副本不同机架的任意节点 目的：保证数据安全 防止机架整体断电 断网 3） 副...

namenode如何获取哪一个datanode是可用的 哪一个datanode的可用空间？ datanode会定时的向namenode发送心跳报告 目的告诉namenode自己的存活状况以及可用空间 这个时间是多久？默认3s <property> <name>dfs.heartbeat.interval</name> ...

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient通过查看hive.lo...

解决：将hbase的安装目录下的lib下的hbase-annotations-1.2.6.jarhbase-common-1.2.6.jarhbase-protocol-1.2.6.jar放在sqoop的安装目录的lib下

在windows系统安装好hadoop后，输入hadoop version命令测试一下，结果：Error: JAVA_HOME is incorrectly setPlease update set前提条件：jdk已经正确安装和配置！解决办法：1.打开hadoop-env.cmd文件目录在你自己的hadoop安装目录 （E:\hadoop\hadoop-2.7....

出现此问题是windows平台编译找不到hadoop需要winutils插件0.检查hadoop环境变量配置是否正常 检查Windows平台是否有该插件（若没有该插件，请下载配置） 将插件下的bin目录复制替换hadoop安装目录下的bin文件 修改\hadoop\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd文件指定java环境...

文件上传过程1.客户端向namenode发送文件上传请求2.NameNode会进行一系列的检查 检查父目录，文件是否存在 权限等 如果检查都通过会3.客户端正真的提交上传文件的请求 这个请求包含一个重要的信息文件的大小（计算切块的个数）4.NameNode开始计算上传文件的切块个数 （文件总长度/128M=结果向上取整，计算完成之后返回给客户端对应的节点 获取副本个数，返回客户端对...