前期准备
Hadoop-分布式部署(服务全部在线)
Mysql-node1节点部署(确认安装正常)
apache-hive -node1节点部署(需要与MySQL元数据联动存储)
参考博客:
Hadoop
Hadoop集群搭建-完全分布式_hadoop完全分布式搭建-优快云博客
2024海南省大数据应用技术高校教师培训-Hadoop集群部署_hadoop师资培训-优快云博客
Mysql
MySQL安装配置-5.7.25版本_mysql5.7.25-优快云博客
Centos7-rpm包管理器方式安装MySQL 5.7.25及开启root用户远程连接-弱密码登录-优快云博客
rpm安装MySQL包出现的文件冲突解决_rpm版本冲突-优快云博客
Apache-Hive
大数据Hive组件安装-元数据库联动Mysql_hadoop hive 安装-优快云博客
大数据Hive安装与配置_hadoop的hive怎么登陆-优快云博客
其他组件
一,基础操作
1,查看/创建/删除hive中的数据库
(1)查看hive中有多少个数据库
SHOW DATABASES;
(2)在hive中创建一个数据库
CREATE DATABASE IF NOT EXISTS test6;
IF NOT EXISTS 可以避免在数据库已存在时报错。
test6 是库名
查看是否创建数据库成功
SHOW DATABASES;
创建成功。
(3)删除数据库
DROP DATABASE IF EXISTS test6;
2,查看/创建/删除数据库中的表
(1)进入/使用test数据库
USE test;
(2)查看test数据库中所有的表
SHOW TABLES;
之前测试过创建表,所以OK值下面会有一个表,如果是新的数据库,是没有这个表的,只会返回OK值,如新创建一个test3数据库,进入查看:
(3)创建测试表test_table2
假设给定几个字段,要求在创建表时增加进去:
表名:test_table
字段:时间,国家,省份,性别,联网设备,是否成年
假设数据类型如下:
- 时间:
STRING
(也可以根据具体需求设置为TIMESTAMP
类型)- 国家:
STRING
- 省份:
STRING
- 性别:
STRING
- 联网设备:
INT
(假设该字段记录设备数量)- 是否成年:
BOOLEAN
- 假设表的存储格式为
ORC
,示例如下:
CREATE TABLE IF NOT EXISTS test_table2 (
`time` STRING,
country STRING,
province STRING,
gender STRING,
devices INT,
is_adult BOOLEAN
)
STORED AS ORC;
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
:指定以逗号作为字段分隔符。STORED AS ORC
:指定使用 ORC 格式存储数据。如果需要其他格式或者分隔符,可以进行相应调整。
查看是否创建成功
SHOW TABLES;
(4)删除测试表test_table2
DROP TABLE IF EXISTS test_table2;
查看是否删除完成
SHOW TABLES;
完成。