构建数据仓库赛题解析

 系列文章目录

“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题

集群安装搭建赛题解析

目录

构建数据仓库赛题解析

前言

在此鸣谢

资料链接

hive介绍

安装数据库（5 / 5分）

安装并配置MySQL

设置MySQL密码

MySQL 密码安全策略

远程登录MySQL 

Hive基础环境配置（8 / 8分）

hive基础环境配置

配置HIVE元数据至MySQL（9 / 9分）

导入MySQL依赖包

slave1：hive-site.xml

配置HIVE客户端（3 / 3分）

master：hive-site.xml

启动Hive（5 / 5分）

---

构建数据仓库赛题解析

前言

根据“红亚杯”-大数据环境搭建与数据采集技能线上专题赛以及鈴音.博主文章结合整理，附上资料链接。

在此鸣谢

鈴音.

资料链接

链接：https://pan.baidu.com/s/1ssv79w85JKAF7wjPBd-Eyw 
提取码：vd1a

hive介绍

hive表面意思是蜂巢，Hive 是基于 Hadoop 的数据仓库。

互联网现在进入了大数据时代，大数据是现在互联网的趋势，而 Hadoop 就是大数据时代里的核心技术。

但是 Hadoop 的 MapReduce 操作专业性太强。

所以 Facebook 在这些基础上开发了 Hive 框架。

毕竟世界上会 SQL 的人比会 Java 的人多的多。

hive 可以说是学习 Hadoop 相关技术的一个突破口。

• slave2安装mysql server用于存放元数据；

• slave1作为hive server作为thrift 服务器;

• master作为client客户端进行操作。

Hive Metastore服务将Hive表和分区的元数据存储在关系数据库中，并提供Metastore服务API供客户端（包括Hive）访问元数据。

安装数据库（5 / 5分）

1.环境中已经安装mysql-community-server，注意mysql5.7默认安装后为root用户随机生成一个密码；

• 直接查看密码：grep "temporary password" /var/log/mysqld.log
• 登入数据库：mysql -uroot -p
• 输入随机密码即可登录

2.根据要求设置密码，注意对应的安全策略修改；

• 设置密码强度为低级：set global validate_password_policy=????;
• 设置密码长度：set global validate_password_length=????;
• 修改本地密码：alter user 'root'@'localhost' identified by '????';

3.根据要求满足任意主机节点root的远程访问权限(否则后续hive无法连接mysql)；

• GRANT ALL PRIVILEGES ON *.* TO '????'@'%' IDENTIFIED BY '????' WITH GRANT OPTION;

4.注意刷新权限；

• flush privileges;

5.参考命令

• 启动mysql服务：sudo systemctl start mysqld.service
• 关闭mysql服务：sudo systemctl stop mysqld.service
• 查看mysql服务：sudo systemctl status mysqld.service

考核条件如下：

安装并配置MySQL

1. 判断是否安装mysql-community-server（1.00 / 1分）

操作环境: slave2

卸载系统自带的Mariadb

rpm -qa|grep mariadb
rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps

 安装MySQL

mkdir -p /usr/mysql
tar -xvf /usr/package/mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar -C /usr/mysql/

安装 MySQL 组件

使用 rpm -ivh 命令依次安装以下组件：

（1）首先安装 mysql-community-common （服务器和客户端库的公共文件），使用命令：

rpm -ivh mysql-community-common-5.7.25-1.el7.x86_64.rpm

若是出现“100%”，则表示安装成功：

（2）其次安装 mysql-community-libs（MySQL 数据库客户端应用程序的共享库），使用命令：

rpm -ivh mysql-community-libs-5.7.25-1.el7.x86_64.rpm

 若是出现“100%”，则表示安装成功：

（3）之后安装 mysql-community-libs-compat（MySQL 之前版本的共享兼容库），使用命令：

rpm -ivh mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm

若是出现“100%”，则表示安装成功