【Kylin4】【AWS】【EMR-5.33.0】 Aws云上部署Kylin4

目录

Description

Steps

Prerequisite for EMR Cluster

Create VPC

Create Subnet and associated with VPC Which Created upon

Create Internet Gateway​ 

Create Route Table​ 

Create Security Group

Create Rds (Optional)

Init Emr 5.33

CLI

UI

Install kylin4 on emr 5.33

Login Into Master Node

Check Hadoop Version && Hive Version

Download Kylin && Spark

Unzip Them

Replace Jars for Kylin (Important!!!)

Prepare kylin.properties

Create Sample Data for Kylin & Start Kylin

After Start Kylin Them Modify hive-site.xml for kylin pushdown!(important!!!)

Access the Kylin

---

当前文章适配的组件及其版本

Services	Version
Kylin	4.0.0(目前最新的 Apache 社区 Release) - 2021-09-07
Aws EMR	5.33.0
Hadoop	注意，选定了 EMR 版本之后，对应的 EMR 选择了 Hadoop 的版本也是固定的，此处 EMR 对应的 Hadoop 应用版本为 2.10.1-amzn-1
Hive	同上
Spark	同上，版本号为 2.4.7-amzn-1
Tez	同上，版本号为 0.9.2
Zookeeper	同上，版本号为 3.4.14

对应的全版本应用和对应版本号，请查看：

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/images/emr-releases-5x.png 

Description

由于工作需要，当前最新的 Kylin 社区的Kylin4 需部署在云上进行验证测试，其中，具体可参考对应的 URL 链接：

https://cwiki.apache.org/confluence/display/KYLIN/Deploy+Kylin+4+on+AWS+EMR

Steps

Prerequisite for EMR Cluster

如果当前你已经创建好了 vpc，Subnet，Gateway，Security Group or RDS，可以跳过这一步的EMR 前置要求。

以下操作均为界面化操作，可以注意对应红框位置标示，快速进行操作。 

Create VPC

 

Create Subnet and associated with VPC Which Created upon

  

Create Internet Gateway

 

Create Route Table

 

Create Security Group

这一步非常的重要，如果设置错误，可能会导致你的云资源被 hack！！！请谨慎配置 出入口流量规则！ 

此处仅做说明，不提供详细配置信息，请根据个人需要进行配置出入口流量规则！ 

 

Create Rds (Optional)

此步骤，可以选择跳过，EMR 自身会部署一个 mariadb 在 master 节点上。 

RDS 主要用于存储部分需要存储 元数据 的服务