duncan

由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误：2014-11-18 08:51:39,128 WARN org.apache.hadoop.hdf

termine current working directory.        at java.lang.System.initProperties(Native Method)        at java.lang.System.initializeSystemClass(System.java:1119) 从错误知道JVM有问题，可以执行java -version命令：[slave16]root@192.168.11.10:/tmp/hsperfdata_hdfs#  java

scription>        Specifies the maximum bandwidth thateach datanode can utilize for the balancing purpose in term of the number ofbytes per second.    </description></property>  运行命令 start-balancer.sh -thresho

lue>  </property> dfs.datanode.du.reserved的单位为字节，上面的预留空间为10G，预留30G：32212254720  预留20G：21474836480 预留空间可能遇到的问题：预留了10G，但是该节点磁盘空间去没有真正剩余，而是一直会放数据，原因可能是如下方面： 通过　df -h 查看容量显示如下：Filesystem            Size  Used Avail Use%

information unavailable2917 -- process information unavailable2968 -- process information unavailable3002 -- process information unavailable3036 -- process information unavailable2934 -- process information unavailable2951 -- process information unavailabl

r 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误：2014-11-18 08:51:39,128 WARN org.apache.hadoop.hdfs.server.common.Util: Path /data1/cdh/data/hadoop-hdfs/data should be specified as aURI in configuration files. Please update hdfs configuration.2014-11-18

由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误：2014-11-18 08:51:39,128 WARN org.apache.hadoop.h...

Redhat上Hadoop2.2.0安装配置说明1. 建立用户，用户组都为hadoop创建组：groupadd hadoop，创建用户：useradd -g hadoop hadoop设置用户密码：passwd hadoop2. 修改主机名# hostname Master#vim /etc/sysconfig/networkHOSTNAME=Master所有namenode和datanode...

在安装hadoop时，执行JPS出现下面错误 [slave16]root@192.168.11.10:/tmp/hsperfdata_hdfs# jpsError occurred during initialization of VMjava.lang.Error: Properties init: Could not determine current working dir...

在hdfs-site.xml中增加设置balance的带宽，默认只有1M：<property>  <name>dfs.balance.bandwidthPerSec</name>    <value>10485760</value>    <description>        Specifies th...

对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置 <property>    <name>dfs.datanode.du.reserved</name>    <value>10737418240</value>  </property> dfs.datano...

hadoop jps出现process information unavailable提示解决办法 jps时出现如下信息：3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 -- pr...

在hdfs-site.xml中增加设置balance的带宽，默认只有1M：  dfs.balance.bandwidthPerSec    10485760            Specifies the maximum bandwidth thateach datanode can utilize for the balancing purpose in term of t

对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置     dfs.datanode.du.reserved    10737418240   dfs.datanode.du.reserved的单位为字节，上面的预留空间为10G，预留30G：32212254720  预留20G：21474836480 预留空间可能遇到的

hadoop jps出现process information unavailable提示解决办法 jps时出现如下信息：3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 -- proc

# hostname Master#vim /etc/sysconfig/networkHOSTNAME=Master所有namenode和datanode都要配置主机名3. 修改host文件#vim /etc/hosts在文件里面添加类似如下配置：192.168.13.62 Master192.168.13.63 Slave01192.168.13.64 Slave02并用scp命令复制到其他所有机器，即所有namenode和datanode做相同配置4. 关闭防火墙1) 查看防火墙是是否已关闭：执行 c