达梦启云平台中，部署使用HIVE笔记

• 开始前准备

部署hive前 我们需要部署hadoop，mysql。

• 部署hadoop

如果想用速度更快的 Tez 计算引擎，除了hdfs还需要启动yarn。

 

部署hdfs部分省略（记得加上云存储），yarn配置

部署完成查看连接信息

名称：Hdp

地址：hadoop-hdp-hdfs-dfs.teamg01.svc:9000

• 部署mysql

Hive的源数据存在mysql中。

部署完成查看连接信息

 

地址:mysql.teamg01.svc:3306

登录Root/Dameng123456

• 开始部署hive

部署hive主要需要注意是否使用Tez计算引擎

开启Tez计算引擎，需要先在hdfs的Tez目录中上传Tez包

 开始部署hive

 为应用起名

Mysql设置源

节省资源只选一个服务

 选择是否开启Tez计算引擎

 

Hadoop配置

部署后查看hive连接域名端口

 

Hive访问暴露端口

hive-hive-hiveserver2.teamg01.svc:10000/30592,10002/30045,9249/30820

• 部署Dmetl

使用Dmetl可以方便的访问hive

 

dmetl-standalone-dmetl.scxxlfyg.svc:8080/30408,9080/30205

建立hive数据源

建立hadoop数据源

 

• 验证 hive

• Dm数据库中一个表导入hive

连接DM数据源中的一个表

设置一个hive的装载表

 

测试运行

 

查看数据

 

导入成功

 

• hive中一个表导入dm数据库

数据读取hive

 

选择刚导入hive的表

 

装载的dm数据库表也是刚才的数据源表

运行完成

浏览数据应该有双份数据

 

导入成功