竞赛
文章平均质量分 72
酸菜鱼本鱼_
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据技能竞赛之Spark搭建(五)
以下操作除特殊说明外都在三个节点上操作。 一、安装Scala软件包 使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下 创建工作目录 mkdir -p /usr/scala 解压缩 cd /usr/package tar -zxvf scala-2.12.12.tgz -C /usr/scala 配置环境变量 vi /etc/profile 加入以下内容 保存后退出,使环境变量生效 source /etc/profile 检验是否安装成功 s...原创 2021-11-06 22:37:23 · 2875 阅读 · 1 评论 -
Hadoop集群动态添加/删除节点
一、准备新节点,命名为slave3 1、修改新节点的主机名 hostnamectl set-hostname slave3 bash 2、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 二、安装JDK 1、创建工作目录 mkdir -p /usr/java 2、解压缩(安装包位于/usr/package) cd /usr/package tar -zxvf jdk1.8.0_221.tar.gz -C /usr/原创 2021-09-07 19:49:55 · 3165 阅读 · 1 评论 -
大数据技能竞赛之构建数据仓库(二)
环境中master 作为客户端,slave1 作为服务器端,因此都需要使用到 hive。以下操作除特殊说明外都在master,slave1节点上操作。 一、将hive安装包解压到指定路径/usr/hive mkdir -p /usr/hive cd /usr/package tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive 二、设置hive系统环境变量 vi /etc/profile 加入以下内容 使文件生效 source /e.原创 2021-09-04 16:48:23 · 1583 阅读 · 0 评论 -
大数据技能竞赛之构建数据仓库(一)
以下命令除特殊说明都在slave2上操作 一、判断是否安装mysql-community-server [root@slave2 ~]# rpm -aq | grep mysql-community-server 出现以下界面则说明已经安装 二、判断是否开启mysql服务 [root@slave2 ~]# systemctl status mysqld 出现以下界面说明已经开启 三、mysqld.log日志下生成临时密码 [root@slave2 ~]# grep "temporar原创 2021-09-02 22:24:50 · 1347 阅读 · 0 评论 -
大数据技能竞赛之hadoop完全分布式集群搭建(三)
一、将hadoop安装包解压到指定路径/usr/hadoop mkdir -p /usr/hadoop tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop 二、配置hadoop环境变量 vi /etc/profile 添加以下内容 使文件生效 source /etc/profile 三、配置hadoop运行环境JAVA_HOME 切换到/usr/hadoop/hadoop-2.7.3/etc/hadoop目录 cd/usr/hadoop/ha..原创 2021-09-02 21:07:15 · 3134 阅读 · 0 评论 -
大数据技能竞赛之zookeeper集群环境搭建(二)
一、将zoo安装包解压到指定路径/usr/zookeeper 1、新建目录 [root@master usr]# mkdir zookeeper [root@slave1usr]# mkdir zookeeper [root@slave2usr]# mkdir zookeeper 2、解压缩 [root@master package]# tar xvf zookeeper-3.4.10.tar.gz -C /usr/zookeeper [root@slave1 package]# tar ..原创 2021-09-02 14:01:37 · 2202 阅读 · 0 评论 -
大数据技能竞赛之基础环境配置(一)
一、修改主机名 在master上操作 [root@localhost ~]# hostnamectl set-hostname master [root@localhost ~]# bash[root@master ~]# hostname在slave1、slave2上操作类似,仅把主机名修改即可 二、判断是否关闭防火墙 [root@master ~]# systemctl status firewalld[root@slave1~]# systemctl status firewalld[ro.原创 2021-09-02 13:27:24 · 4278 阅读 · 0 评论 -
大数据技能竞赛之前提准备
一、准备三台虚拟机 在VM上创建三台虚拟机,分别命名为master、slave1、slave2。在虚拟机上安装centos7系统,并确保虚拟机可联网,然后使用Xshell7连接三台虚拟机,如下所示 二、安装NTP服务 先检查三台虚拟机是否安装了ntp服务,如果没有则需要自行安装。 [root@localhost~]# rpm -qa|grep ntp 出现如上界面则说明ntp服务已经安装。 [root@localhost ~]# yum install ntp -y 三、准备安装...原创 2021-09-02 10:19:25 · 1281 阅读 · 0 评论
分享