cao447214075的专栏

hadoop在部署的过错中出现的错误。 1.本人使用ubuntu 13.10 在安装ssh时报错，安装方式sudo apt-get install ssh,错误说是找不到安装包，网上找到了解决方案，在网上找一个最新的ubuntu源问题。粘帖到/etc/apt/sources.list文件中。 2.启动hadoop后jps指令无效，提示让安装open-jdk，可我已经安装来jdk了，而且我进...

http://blog.youkuaiyun.com/huoyunshen88/article/details/8611629

在hadoop重新format namenode后在hdfs上创建文件夹没有问题，但是就所不能上传文件。上传的文件也只有文件名，文件内容为空。并且报could only be replicated to 0nodes ,instead of 1。查看logs中的datanode日志，发现如下错误： *************************************************...

但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块大小，默认为64M，可以通过参数dfs.block.size设置 total_size : 输入文件整体的大小 input_file_num : 输入文件...