qingyang0320的专栏

使用keytool从.jks文件获取SSL certificate

提交报错如下： 16/01/11 19:19:53 ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From sparkmaster/192.168.10.80 to sparkmaster:8021 failed on connection exception: java.n

有两种方式启动集群：分步启动和集中统一启动。 以下执行环境是在一个有2个节点的集群当中，namenode：sparkmaster，datanode：sparkmaster和sparkworker1 在namenode上统一启动整个集群的方法 首先，要在$YARN_HOME/etc/hadoop/下新建几个文件：1.slaves，里面写上全部的datanode的hostname

先说一下我的环境： 2个node，其中一个是master兼worker，另外一个是纯worker master兼worker：sparkmaster  192.168.10.80 纯worker：sparkworker1  192.168.10.81 下载及安装 从官网下载预编译好的spark 1.6http://spark.apache.org/downloads.ht

本人打算在linux环境下安装eclipse用于Hadoop MapReduce开发。已经安装了Hadoop-2.2.0环境，jdk是1.7.0_79版本 系统环境： [root@namenode hadoop]# cat /etc/redhat-release  Red Hat Enterprise Linux Server release 6.2 (Santiago)

如下， [root@sparkmaster examples]# hadoop jar mywordcount.jar WordCount /root/input/ ./out01 InputPath: WordCount OutputPath: /root/input/ 16/01/11 18:56:28 WARN util.NativeCodeLoader: Unable to loa

namenode log报错如下： FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/n

启动整个Hadoop集群： [root@sparkmaster ~]# start-dfs.sh [root@sparkmaster ~]# yarn-daemon.sh start resourcemanager starting resourcemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-resourcemana