luolinll1212的专栏

**IDEA版本：IntelliJ IDEA Community Edition 2016.1.1(64) IDEA创建Spark项目，2个常见错误和pom.xml1，IDEA 创建Spark项目1.1，点击IDEA执行文件 1.2 添加scala 1.3 选择Create New Project，选择scala-tools 1.4，输入包名和项目名 1.5，再输入项目名 经过以上步骤，

问题1，无法编译，出现解决这个问题，只需要注释test\scala下面系统自动生成的这两个类 问题2，Error:scalac: Error: object scala.runtime in compiler mirror not found.Error:scalac: error while loading <root>, zip file is emptyError:scalac: Erro

下载 spark.1.6.3-bin-hadoop.2.6.tgz1，安装步骤 tar -zxvf spark.1.6.3-bin-hadoop.2.6.tgz -C /export/servers/apps cd spark.1.6.3-bin-hadoop.2.6/conf mv spark-env.sh.template spark-env.sh vi spark-en

ntp服务搭建 Spark集群分为Master,Worker。默认Worker每15秒向Master发一条心跳包。所以，Spark集群时间必须同步。0，准备工作 关闭selinux，关闭防火墙服务器配置 1，安装ntp服务 yum install -y ntp ntpdate2，修改配置文件 vi /etc/ntp.conf 加入#server 0.centos.pool.ntp.org

安装kafka，版本：kafka_2.10-0.8.2.1.tgz1，安装Zookeeper http://blog.youkuaiyun.com/luolinll1212/article/details/784907142，安装kafkatar -zxvf kafka_2.10-0.8.2.1.tgzcd kafka_2.10-0.8.2.1/configvi service.properties

hbase安装，版本：hbase-0.99.2-bin.tar.gz1，上传文件2，解压文件tar -zxvf hbase-0.99.2-bin.tar.gz3，修改环境变量vi /etc/profile export HBASE_HOME=/home/hadoop/hbase-0.99.2-bin export PATH=$PATH:$HBASE_HOME/bin4，修改配置文件，hbas

hive 安装1，启动hadoop，启动mysql hadoop安装在第3篇博客，http://blog.youkuaiyun.com/luolinll1212/article/details/78484518 mysql安装在第10篇博客，http://blog.youkuaiyun.com/luolinll1212/article/details/784911482，解压hivetar -zxvf apac

安装hadoop-2.6.5.tar.gz hdp10 namenode/datanode hdp11 datanode hdp12 datanode0 安装前准备 修改hosts，修改主机名，关闭防火墙，关闭selinux,安装ssh，配置免密码，安装JDK1,添加hadoop用户名 useradd hadoop passwd hadoop vi /etc/sudoersro

mysql

安装zookeeper-3.4.5.tar.gz1，安装JDK2，安装zoookeeper cd /root/apps tar -xf zookeeper-3.4.5.tar.gz cd zookeeper-3.4.5/conf mv zoo_sample.cfg zoo.cfg vi zoo.cfgdataDir=/root/zkdataclientPort=2181#编写一下内容

编译hadoop-2.6.5.tar.gz，需要一下软件将所有软件安装在/usr/local/src目录下jdk-7u25-linux-x64.tar.gz apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz apache-maven-3.0.5-bin.tar.gz hadoop-2.6.0-sr

搭载完成网络yum源1, 安装ssh服务 yum install -y openssh-server openssh-clients2, 生成sh密码 ssh-keygen 3, 配置免密码 ssh-copy-id 192.168.10.10 把本地的 id_rsa.pub 拷贝给 192.168.10.10 , 并把 id_rsa.pub 加入授权列表4, 查看授权列表 ca