kylin 安装配置实验

已于 2025-07-30 10:07:17 修改
阅读量2.5w 收藏 19
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Linux 文章标签： kylin
于 2016-04-29 17:43:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wzy0623/article/details/51283352

目录

1. 实验环境

2. 安装 hadoop 集群

3. 安装配置基于独立 Zookeeper 集群的 Hbase

4. 安装配置 hive

5. 添加 hive_dependency 环境变量

6. 把 hive 安装目录拷贝到 Hadoop 集群的其他节点

7. 配置环境变量

8. 安装配置 kylin

9. 测试

（1）启动 zookeeper

（2）在 master 启动其他 kylin 依赖的服务

（3）在 master 启动 kylin

（4）测试 kylin 自带的例子

参考：

1. 实验环境

        3 台 CentOS release 6.4 虚拟机，IP 地址为：

  • 192.168.56.101 master
  • 192.168.56.102 slave1
  • 192.168.56.103 slave2

        相关软件版本：

  • hadoop 2.7.2
  • hbase 1.1.4
  • hive 2.0.0
  • zookeeper 3.4.8
  • kylin 1.5.1（一定要 apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz 包）

        master 作为 hadoop 的NameNode、SecondaryNameNode、ResourceManager，hbase的HMaster；slave1、slave2 作为 hadoop 的 DataNode、NodeManager，hbase 的 HRegionServer；同时 master、slave1、slave2 作为三台 zookeeper 服务器。

        需要事先重新编译 hadoop 源码，使得 native 库支持 snappy。编译 hadoop 源码，参考“重新编译 Hadoop 2.7.2 native 以支持 snappy”。

2. 安装 hadoop 集群

        参考“Hadoop 集群安装配置实验”。

3. 安装配置基于独立 Zookeeper 集群的 Hbase

        参考“基于独立 Zookeeper 集群的 Hbase 安装配置实验”。

4. 安装配置 hive

        参考“hive 安装配置实验”。

5. 添加 hive_dependency 环境变量

export  hive_dependency=/home/grid/hive/conf:/home/grid/hive/lib/*:/home/grid/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar

6. 把 hive 安装目录拷贝到 Hadoop 集群的其他节点

scp -r hive slave1:/home/grid/
scp -r hive slave2:/home/grid/

7. 配置环境变量

        在每个节点中配置环境变量：

JAVA_HOME
HADOOP_HOME
HBASE_HOME
HADOOP_HDFS_HOME
HIVE_HOME
HADOOP_COMMON_HOME
JAVA_HOME
HADOOP_YARN_HOME
ZOOKEEPER_HOME
KYLIN_HOME
HADOOP_MAPRED_HOME
hive_dependency

8. 安装配置 kylin

        在 master 上执行以下命令：

cd /home/grid/
tar -zxvf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
ln -s apache-kylin-1.5.1-bin kylin

vi /home/grid/kylin/bin/kylin.sh

        需要对 kylin.sh 脚本文件做两点修改：

export KYLIN_HOME=/home/grid/kylin # 改成绝对路径
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX # 在路径中添加 $hive_dependency

9. 测试

（1）启动 zookeeper

        分别在三台机器上启动 zookeeper。

/home/grid/zookeeper/bin/zkServer.sh start

（2）在 master 启动其他 kylin 依赖的服务

$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
~/mysql/bin/mysqld &
nohup $HIVE_HOME/bin/hive --service metastore > /tmp/grid/hive_metastore.log 2>&1 &
/home/grid/hbase/bin/start-hbase.sh

（3）在 master 启动 kylin

cd /home/grid/kylin/bin
./kylin.sh start

（4）测试 kylin 自带的例子

1. 运行 ${KYLIN_HOME}/bin/sample.sh，并重启 kylin 服务器

${KYLIN_HOME}/bin/sample.sh
${KYLIN_HOME}/bin/kylin.sh stop
${KYLIN_HOME}/bin/kylin.sh start

2. 使用 ADMIN/KYLIN 作为用户名/密码登录以下 URL，在左上角的 project 下拉列表中选择'learn_kylin'项目

        http://192.168.56.101:7070/kylin

3. 选中'kylin_sales_cube'示例立方体，点击'Actions'->'Build'，选择一个截止日期，本试验中选择的是'2012-04-01'

4. 在'Monitor'标签中通过刷新页面检查进度条，直到 100%

5. 在'Insight'标签中执行下面的 SQL 查询

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

6. 在 hive 中执行同一个 SQL 查询，验证 kylin 的查询结果

        Build 成功的模型标签如图1 所示。

图1

        Build 成功的监控标签如图2 所示。

图2

        查询执行和结果分别如图3、图4 所示。

图3

图4

        Build 成功后，hive 中建立了 3 个表，如图5 所示。

图5

        Build成功后，hbase 中建立了 2 个表，如图6 所示。

图6

        注意：

  • kylin、hadoop、hbase、hive 的版本一定要匹配。
  • 需要把 hive 拷贝到集群中的每个节点中。
  • 需要修改 kylin.sh 脚本。
  • 需要在每个节点中配置如下环境变量： 
    HADOOP_HOME
HBASE_HOME
HADOOP_HDFS_HOME
HIVE_HOME
HADOOP_COMMON_HOME
JAVA_HOME
HADOOP_YARN_HOME
ZOOKEEPER_HOME
KYLIN_HOME
HADOOP_MAPRED_HOME

参考：

安装Kylin
阿里Darker
05-26 1791
Environment Kylin requires a properly setup Hadoop environment to run. Following are the minimal request to run Kylin, for more detial, please check Hadoop Environment. It is most common to insta
Kylin安装
子清的博客
02-14 898
文章目录Kylin安装1 Kylin依赖环境2 Kylin搭建3 Kylin兼容性问题4 Kylin启动 Kylin安装 1 Kylin依赖环境 安装Kylin前需先部署好Hadoop、Hive、Zookeeper、HBase，并且需要在/etc/profile中配置以下环境变量HADOOP_HOME，HIVE_HOME，HBASE_HOME，记得source使其生效。 2 Kylin搭建 1）上传Kylin安装包apache-kylin-3.0.2-bin.tar.gz 链接: https://pan.b
OpenKylin安装运行ssh及sftp服务
最新发布
wfserial的博客
06-15 400
本文介绍了在Linux系统上安装配置SSH和SFTP服务的完整流程。首先通过检查安装openssh-server包、启动服务并设置开机自启来完成SSH配置。接着详细说明了SFTP的配置步骤：确保sshd_config配置正确，创建sftpusers用户组和用户，设置正确的目录权限，最后重启SSH服务生效。完成这些配置后，即可使用Xshell和Xftp等工具远程访问OpenKylin系统。整个过程涵盖了从服务安装、启动到权限管理的完整配置方案。
Kylin系统安装
2301_81538896的博客
10-23 1774
麒麟Kylin系统安装
Kylin操作系统的安装教程
suluoyiya的博客
06-13 1568
按照自己的需求选择虚拟机磁盘的最大容量，选择虚拟磁盘的存储方式，为了方便后续查找和美观，推荐选择将虚拟磁盘存储为单个文件。编辑自己的虚拟机名称以及更改虚拟机存储位置（尽量存储于C盘以外其他的盘）后进行下一步。现在我们要让虚拟机链接上我们的麒麟镜像文件，我们点击虚拟机，点击编辑虚拟机设置。要想安装麒麟操作系统，首先需要下载麒麟操作系统的镜像文件，我们可以到官网下载。设置完成Root管理员的密码后就可以点击右下角的开始安装进行安装虚拟机了。我们用虚拟机进行麒麟操作系统的安装，虚拟机也可在官网获取，
Kylin 安装
记录点点滴滴
04-05 2635
Kylin 安装Kylin 依赖环境Kylin 搭建上传 Kylin 安装包解压文件Kylin兼容性问题排除冲突的jar包Kylin启动关闭KylinKylin BI工具集成JDBCZepplinZepplin安装与启动 Kylin 依赖环境 安装 Kylin 前需先部署好 Hadoop、Hive、Zookeeper、HBase Zookeeper 分布式安装 : https://blog.youkuaiyun.com/qq_44226094/article/details/123119682 Hadoop HA 部署
麒麟kylin YUM配置管理
weixin_50755086的博客
01-16 711
YUM（Yellowdog Updater Modified）是一个用于RPM包管理系统的自动化更新工具，最初由Duke University的Linux实验室开发。YUM通过解析依赖关系自动解决包之间的依赖问题，并可以从多个源同步获取最新的软件版本。总之，YUM是一个强大而灵活的包管理系统，它不仅简化了软件的安装与维护工作，还为用户提供了一个安全可靠的途径来确保系统始终处于最新状态。自动处理依赖关系：YUM能够智能地分析软件包间的依赖性，并自动下载和安装所需的其他组件。
Ubuntu Kylin系统中配置Apache服务器
zhiwenganyong的博客
01-16 1468
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，本文讲述中国定制版的操作系统 ——UbuntuKylin(优麒麟系统)上安装Apache服务器。
Kylin使用心得与实战经验分享
异构算力老群群（在读985计算机博士生）的技术博客
05-04 1265
分布式分析引擎：Kylin是一个基于Hadoop/Spark等分布式计算平台的分析引擎，能够充分利用集群的计算资源，实现大规模数据的并行处理。高效的多维分析能力：Kylin支持多维数据分析，用户可以轻松地对数据进行切片、切块、汇总等操作。这种能力在处理复杂的数据分析任务时非常有用，能够帮助用户从多个角度审视数据，发现其中的规律和趋势。预计算与实时查询的平衡：Kylin采用了预计算技术，通过在离线阶段对数据进行预处理和计算，生成多维数据立方体（Cube）。
DM8数据库在KyLin10操作系统上安装配置
nokia82501qaz的博客
06-24 315
DM8数据库在KyLin10操作系统上安装配置
安装配置web服务器实现负载均衡实验报告
04-16
在进行web服务器的安装配置实验以实现负载均衡的过程中，涉及到的知识点主要包括以下几点： 1. web服务器的安装与配置：实验中在两台Ubuntu Kylin虚拟机上安装了Apache服务器，并在Windows 10主机上安装了Nginx...
Apache Kylin安装部署
03-23
Apache Kylin安装部署Apache Kylin安装部署Apache Kylin安装部署
Kylin操作系统安装及使用指南
zcs_978176963的博客
05-30 2291
Kylin操作系统是一个基于Linux内核的开源操作系统，专为桌面和服务器环境设计。
kylin安装
Jacqueline_JIANG的博客
03-28 1650
1.kylin下载： https://mirrors.bfsu.edu.cn/apache/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-cdh57.tar.gz 2. 上传至你想要的文件夹中 比如：ip: 172.16.1.91机器下的文件夹 /usr/local/install/kylin/apache-kylin-4.0.0-beta-bin.tar.gz 3. 解压（选择合适的解压缩方式） tar -zxvf apach...
kylin的安装
lzlnd的博客
12-21 1086
1.支撑 Hadoop，Hbase，Hive 2.下载安装包 https://archive.apache.org/dist/kylin/apache-kylin-1.5.2.1/ 3.解压 tar –zxvf apache-kylin-1.5.2.1-bin.tar.gz 4.配置环境变量 Vim /etc/profile export  KYLIN_HOME=kylin的安装路...
麒麟操作系统（Kylin）入门—安装系统
热门推荐
qq_29562459的博客
06-03 3万+
选中“空闲”所在行，选择“+”即可创建硬盘分区： 在创建分区时，“新分区的类型”选择“主分区”，“新分区的位置” 默认为“剩余空间头部”。首先创建boot分区，/boot 必须是主分区中的第一个分区，用于选 择“etx4”，挂载点选择“/boot”，boot分区大小推荐 1GiB到 2GiB 之间，不可小于500MiB。创建根分区，用于选择“etx4”，挂载点为“/”，“/”分区大小不 可小于15GiB，华为机器要求不小于25GiB。
Linux系统管理：虚拟机Kylin OS安装
cronaldo91的博客
10-22 3846
麒麟操作系统（Kylin OS）亦称银河麒麟，是由中国国防科技大学、中软公司、联想公司、浪潮集团和民族恒星公司合作研制的商业闭源服务器操作系统，于2001年开始使用，此操作系统是863计划重大攻关科研项目，目标是打破国外操作系统的垄断，研发一套中国自主知识产权的服务器操作系统，该系统有高安全、跨平台、中文化的特点。2010年12月16日，两大国产操作系统（民用的“中标Linux”操作系统和解放军研制的“银河麒麟”操作系统）在上海正式宣布合并，双方共同以“中标麒麟”的新品牌统一出现在市场上。
Kylin的安装部署
weixin_44524441的博客
05-15 696
1丶Hbase部署 kylin-2.6.3-bin-hbase1x所依赖的hbase为1.1.1版本。 具体操作步骤： 下载hbase 1.1.1版本 资料\Kylin\软件包\hbase-1.1.1-bin.tar.gz 上传到一台服务器，解压缩 tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/ 修改hbase-env.sh 添加JAVA_HOME环境变量 export JAVA_HOME=/export/servers/jdk1.8
Apache Kylin的入门安装
三劫散仙
06-27 3776
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 从官网的介绍来看Kylin是一个OLAP的数据查询引擎，其特点就是快。公司最近准备引入Kylin做数据分析，原来也听说过 但一直没有接触，现在正好可以验证下Kylin是否是传
kylin4.0onspark生产环境配置
12-27
### 关于 Apache Kylin 4.0 on Spark 生产环境中配置的方法 #### 配置概述 Apache Kylin 是一个分布式分析型数据仓库，能够提供 Hadoop/Spark 上的 SQL 查询接口以及多维分析(OLAP)能力。对于 Kylin 4.0 版本，在生产环境下部署时可以选择基于 Spark 构建和执行查询的功能[^3]。 #### 支持版本说明 值得注意的是，Kylin 4.0 不仅兼容 Spark 2.4.7 这一即将到达生命终点的老版本，同时也引入了对 Spark 3.1.1 的实验性质的支持。这意味着用户可以在新项目中尝试使用更先进的 Spark 3.x 功能来优化性能表现，尤其是在处理复杂的数据倾斜等问题方面获得了改进[^1]。 #### 安装与初始化设置 为了确保顺利安装并运行 Kylin 4.0 with Spark： - **依赖环境准备** - 确认集群已经正确设置了 Java 和 Scala 环境变量。 - 如果计划采用 YARN 或 Kubernetes 来管理资源，则需提前完成相应平台的服务端口开放、网络连通性测试等工作。 - **获取最新稳定版软件包** - 可通过官方 GitHub 仓库下载最新的发布版本或克隆整个源代码库用于自定义编译构建[^2]: ```bash git clone https://github.com/apache/kylin.git cd kylin && mvn clean package - 编辑 `conf/kylin.properties` 文件调整必要的参数选项，比如指定使用的计算框架为 Spark (`kylin.engine.spark- 使用脚本来简化操作流程，如 `bin/startup.sh` 启动所有必需组件；也可以根据实际情况编写自己的 Shell 脚本实现自动化运维目标。 #### 性能调优建议 针对生产级应用的需求特点，应该特别关注以下几个方面的优化措施： - **内存分配策略** - 对于大规模数据分析任务来说，默认情况下可能无法满足实际需求，因此要合理规划 Driver 和 Executor 的堆外空间大小(`spark.executor.memory`, `spark.driver.memory`)。 - **并发度控制** - 根据硬件条件适当增加分区数量(`spark.sql.shuffle.partitions`)以提高并行度，减少单个 Task 执行时间过长带来的影响。 - **缓存机制启用** - 当存在频繁访问相同中间结果的情况时，开启广播变量(`broadcastJoinThreshold`)或者持久化 RDD/Dataset 结构有助于加速后续迭代过程中的读取速度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值