
hadoop
_飞奔的蜗牛_
关注图像处理/机器视觉/机器学习/大数据 等领域
学海无涯,与时俱进。
展开
-
hadoop(2.7.1)配置过程问题
formate 出错ERROR namenode.NameNode: Failed to start namenode. java.io.IOException: Cannot create directory /usr/hadoop/dfs/name/current at org.apache.hadoop.hdfs.server.common.Storage$StorageD原创 2017-03-02 21:04:34 · 928 阅读 · 0 评论 -
配置hadoop环境
前期看了许多大数据的资料,现在开始搭建hadoop平台。 主要完成在vbox中实现两个节点的分布式环境搭建(三个节点怕本儿带不起来)。 1、添加两个虚拟机,其中一个作为master节点,另外一个作为node1. 2、创建hadoop用户和用户组 3、安装SSH,配置/etc/hostname 和 /etc/hosts 4、配置免密码登陆 5、安装JDK及环境配置原创 2017-03-01 22:39:50 · 245 阅读 · 0 评论 -
HDFS 常用shell命令
fs( File System)shell 命令格式: bin/hadoop fs [ cmd]当使用HDFS(Distributed File System),等价使用如下命令格式 bin/hdfs dfs [ cmd ]1 hdfs dfs -appendToFile < localsrc > … < dst>可同时上传多个文件到HDFS里面2 hdfs dfs -cat URI [原创 2017-03-04 00:01:19 · 707 阅读 · 0 评论 -
hadoop数据上传hdfs出错
could only be replicated to 0 nodes, instead of 1 错误 出现此问题,首先用 jps 命令查看,datanode没有正常工作。 解决方法: 1)stop-all.sh 2)在node1从节点中,删除保存 data 数据的目录,如/usr/hadoop/dfs/data 目录里面的数据 3) start-all.原创 2017-03-12 22:58:36 · 890 阅读 · 0 评论