Andy的博客

目录文章导读Scala安装Spark安装结束文章导读Spark安装与配置需要提前安装Scala支持,需要在sca要在scala官网下载安装包,在Spark官网下载安装包.Scala安装# 解压[root@hadoop01 src]# tar -zxvf scala-2.11.12.tgz# 移动至指定目录[root@hadoop01 src]# mv scala-2.11.12 ../soft/# 修改环境变量[root@hadoo...

目录文章导读Hive下载Hive安装修改hive-env.sh​编辑增加hive-site.xmlHive启动初始化Hive启动参考博文文章导读Hive是基于Hadoop的数据管理工具,通常用于大数据环境下的OLAP系统,本次安装的Hive2.3.9版本是基于Hadoop2.10.1版本Hive下载 进入Apache Hive的官网,找到下载链接进入Hive版本库,这里有各大版本的推荐,和历史版本的仓库,可以根据自己的...

文章导读MySQL的安装是为了后续安装Hive做准备的,Hive需要MySQL作为远程连接的元数据库,因此在安装Hive之前,先把MySQL的相关安装和配置工作准备完成.安装包下载 该说不说MySQL的下载是真的麻烦,可以说Apache旗下的所有产品都不方便下载,以下是下载mysql-5.1.47.rpm的操作方式,仅供参考.MYSQL官网MySQL安装卸载自带,参考连接# 检查系统中是否已经安装了MySQL[root@hadoop01 src]# rpm -q...

目录文章导读Hadoop下载Hadoop解压Hadoop高可用配置核心配置hdfs配置yarn配置mapred配置修改hadoop-env.sh配置环境变量分发安装包启动Zookeeper启动Hadoop启动journalnodehdfs格式化zkfc格式化namenode主从同步启动HDFS启动YARN在hadoop02节点上手动启动备用的resourcemanager参考文章文章导读 大数据高...

目录文章导读下载ZK解压ZK配置ZK补充文章导读 在搭建Hadoop高可用集群之前,需要提前安装并启动Zookeeper集群,因为hadoop集群需要Zookeeper提供的分布式锁服务选主NameNode,因此需要提前准备好Zookeeper集群环境下载ZK 下载Zookeeper二进制包可以去Zookeeper官网,也可以去国内的镜像网站,但国内的镜像网站只能下载到最近的稳定版本,而历史版本是没有的,比如我这里使用的Zookeeper-...

文章导读Linux环境的默认配置进行修改,让虚拟机更好的clone机器信息,减少重复配置的工作量关闭防火墙关闭普通防火墙使用以下命令查看防火墙状态[root@192 ~]# systemctl status firewalld.serviceactive表示防火墙正处于激活状态,所以使用如下命令关闭防火墙# 关闭防火墙[root@192 ~]# systemctl stop firewalld.service# 禁用防火墙(永久关闭)[root@...

目录文章导读下载Java卸载Java解压Java配置环境变量文章导读 CentOS自带了一个Java,通常情况下是够用的,但是对于大数据环境搭建过程中,我们需要对每一个工具做到掌控,因此建议大家在搭建的过程中卸载重装一个自己的Java环境,这样搭建的过程中有任何问题都可以准确方便的定位.下载Java Java自从被Oracle收购以后,下载就越来越不方便了需要登录Oracle的官网账号,JDK8下载链接,选择自己需要的版本下载即可....

文章导读 为适应模拟生产环境,在搭建大数据集群之前,先准备Linux环境,方便后续Hadoop环境的搭建及安装.Linux下载官网首页 本次搭建使用的是最新的CentOS 7.9.2009的版本,用户可以根据自己的需要和方便选择,这里我给了CentOS官网门户最新版本点击x86_64进入后可以看到各种镜像源地址,推荐使用各大高校的镜像源,下载速度较快,也可以选择历史版本,这里不在赘述,有需要的可以自行查找资料.安装配置...