
Hadoop
文章平均质量分 81
bamuta
Oracle,mysql DBA
展开
-
3节点hadoop2.2.0集群安装
机器规划 HostnameIP作用Hadoop01192.168.20.38Master,namenode,jobtrackerHadoop02192.168.20.39Slave,datanode,tasktrackerHadoop03原创 2013-10-24 09:41:42 · 2778 阅读 · 2 评论 -
hadoop2.2.0遇到NativeLibraries错误的解决过程
问题描述 在安装好hadoop进行测试学习时,遇到下面的问题。[hadoop@hadoop01 input]$ hadoop dfs -put ./inDEPRECATED: Use of this script to executehdfs command is deprecated.Instead use the hdfs command for it.原创 2013-10-30 10:11:28 · 24081 阅读 · 7 评论 -
hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
hadoop安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid启动:[hadoop@hadoop02 hadoop]$ yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /app/hadoop/hado原创 2013-10-24 11:18:58 · 9275 阅读 · 2 评论 -
Hadoop2.2.0 实例测试 WordCount程序
装好的hadoop测试一1个示例程序WordCount,首先需要在操作系统上新建两个任意文件,然后上传到hadoop,再运行该程序统计文件中单词的个数,最后查看结果。在操作系统上新建任意文件:例如:[hadoop@hadoop01 input]$ lstest1.txt test2.txt查看hadoop的文件系统目录[hadoop@hadoop01 in原创 2013-11-06 14:55:06 · 6860 阅读 · 4 评论 -
单节点hadoop2.2.0 安装
基本信息 IP192.168.112.114Hadoop版本2.2机器Oracle Linux 6.3 64位 目录配置/home/hadoop用户目录/app/hadoop/hadoop-2.原创 2013-10-18 15:53:44 · 5411 阅读 · 8 评论 -
hive初次安装遇到的3个错误
首次安装hive,碰到一些问题,在此记录一下,附:hive成功安装的记录:http://blog.youkuaiyun.com/bamuta/article/details/44940523问题1:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient[hadoop@hadoop原创 2015-04-08 14:58:52 · 10383 阅读 · 1 评论 -
hadoop2.2.0遇到64位操作系统平台报错,重新编译hadoop
hadoop cmake maven protobuf问题描述在64位linux装的hadoop,在很多地方会遇到libhadoop.so.1.0.0 which might have disabled stack guard. 是因为hadoop是32位的,需要手工编译hadoop。实例和解决过程。遇到的问题[hadoop@hadoop01 input]$ hadoop d原创 2013-10-30 10:10:55 · 14798 阅读 · 16 评论 -
基于hadoop2.6.0,以mysql为元数据的hive 1.1.0安装初体验
1.操作系统环境是64位的Oracle Linux6.3,采用的hadoop为2.6.0,需要自己下载源文件(hadoop-2.6.0-src.tar.gz)进行编译。编译方法:http://blog.youkuaiyun.com/bamuta/article/details/13506893[hadoop@hadoop01 soft]$ cat /etc/issueOracle Li原创 2015-04-08 14:39:30 · 2401 阅读 · 0 评论