Kylin学习笔记（一）安装指南

最新推荐文章于 2024-05-23 10:03:31 发布

andre_xuxu

最新推荐文章于 2024-05-23 10:03:31 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Kylin 文章标签： Kylin 大数据多维分析安装部署

本文链接：https://blog.youkuaiyun.com/xuxudede1989/article/details/81701366

一、软件要求

Hadoop: 2.7+
Hive: 0.13 - 1.2.1+
HBase: 1.1+
Spark (可选) 2.1.1+
Kafka (可选) 0.10.0+
JDK: 1.7+
OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

二、硬件要求

运行 Kylin 的服务器的最低的配置为 4 core CPU, 16 GB memory 和 100 GB disk。
对于高负载的场景建议使用 24 core CPU, 64 GB memory 或更高的配置。

三、Hadoop环境

Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS, YARN, MapReduce, Hive, Hbase, Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。最常见的是在 Hadoop client machine 上安装 Kylin，这样 Kylin 可以通过（hive, hbase, hadoop, 以及其他的）命令行与 Hadoop 进行通信。

Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见，您可以在 master 节点上运行 Kylin。但为了更好的稳定性，我们建议您将其部署在一个干净的 Hadoop client 节点上，该节点上 hive, hbase, hadoop, hdfs 命令行已安装好且 client 配置如（core-site.xml, hive-site.xml, hbase-site.xml, 及其他）也已经合理的配置且其可以自动和其它节点同步。运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限，包括 create/write HDFS 文件夹, hive 表, hbase