可怜虫
文章平均质量分 86
为了更好的学习sql和spark
美梦是个可怜虫
我是pumbaa
展开
-
hadoop分布式集群搭建
集群搭建(以搭建三个节点为例子)1.打开centos网卡NAT模式2.查看各个主机的时间是不是同步:date命令2.修改/etc/sysconfig/network文件,设置主机名(centos2,centos03类似) # Created by anaconda NETWORKING=yes HOSTNAME=centos013.修改/etc/hosts文件(c...原创 2018-08-21 17:51:30 · 259 阅读 · 0 评论 -
spark集群搭建与mysql元数据管理
找个spark集群搭建是针对于上一篇hadoop的基础上搭建的。所以spark的版本也是要按照着hadoop版本进行下载。1.解压spark,修改spark的/etc/profile的home目录。2.安装SCALA,并配置SCALA_HOME。3.修改spark conf目录下的spark-env.sh文件,并添加下列配置 export JAVA_HOME=/roo...原创 2018-08-27 15:23:24 · 1181 阅读 · 0 评论