
安装
kaiseu
把你的心给我一小部分,把我的整个拿去...
展开
-
hadoop集群格式化namenode出现异常
安装完hadoop2.6.0的集群后,格式化namenode 的时候出现异常: 发现是hadoop数据存储目录权限的问题: 可以看到mydata目录的所有者是root,修改其所有者为hadoop: 然后再格式化: 没有问题了。原创 2015-05-31 09:43:53 · 2781 阅读 · 0 评论 -
Ubuntu 客户端安装handoop2.6.0并连接到集群
1 将hadoop1上安装的hadoop260目录拷贝到客户端/app/hadoop/目录下: 2 修改相关配置文件 配置文件在目录:hadoop260/etc/hadoop 修改此目录下hadoop-env.sh,指定本机的java安装目录,本客户端与集群上hadoop1的java安装目录相同,所以不用修改。 修改/etc/profile文件:原创 2015-06-01 15:39:32 · 969 阅读 · 0 评论 -
Spark1.3.1集群部署
1 java安装 2 ssh无密码登陆 3 spark安装包解压 4 spark配置文件配置 文件 conf/slaves:增加3个节点 文件 conf/spark-env.sh: 拷贝安装目录到hadoop2,hadoop3: 启动集群: 浏览器访问: 5 客户端安装原创 2015-06-01 18:57:11 · 1414 阅读 · 0 评论 -
Spark1.3.1 Standalone 基于文件系统的 HA 部署
基于文件系统的 HA spark.deploy.recoveryMode设成 FILESYSTEM spark.deploy.recoveryDirectory Spark保存恢复状态的目录 Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.rec原创 2015-06-01 19:32:13 · 1528 阅读 · 0 评论 -
Hive 安装
1:安装计划 hadoop1: 121.248.50.155 (hadoop2.2.0 namenode) hadoop2: 121.248.48.101 (hive0.11.0 client) hadoop3: 121.248.52.30 (MySQL server + hive metastore service) hadoop2.2.0的安装目录/app/hadoop/原创 2015-01-27 20:44:51 · 877 阅读 · 0 评论